誰在殺死我的碼頭集裝箱？

Mesos → Completed Tasks i Sandbox 在標準輸出文件中，我可以看到 killTask​​ 信號：

Received killTask for task sources.b4e2c8e6-5b42-11e7-aec0-024227901b13

標準輸出文件的完整快照如下。即使在收到killTask信號後，您也可以看到我的程序仍在執行。即我的程序不會自行終止。

2017-06-27 14:16:08,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:16:18,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:16:28,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:16:38,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:16:48,337 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:16:58,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:08,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:18,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:28,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:38,334 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:48,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 1，到目前為止已發送 188 個字節
2017-06-27 14:17:58,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:18:08,334 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:18:18,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:18:28,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:18:38,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息發送 2，字節發送 376 到目前為止
2017-06-27 14:18:48,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:18:58,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:08,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:18,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:28,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:38,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:48,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:19:58,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:20:08,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:20:18,334 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:20:28,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息發送 2，字節發送 376 到目前為止
2017-06-27 14:20:38,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
2017-06-27 14:20:48,332 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節
收到任務源的 killTask​​.b4e2c8e6-5b42-11e7-aec0-024227901b13
2017-06-27 14:20:58,333 INFO [Timer-0] com.informatica.vds.transport.ws.WSClient - appmonitor 消息已發送 2，到目前為止已發送 376 個字節

stderr 文件的 Full Snap 如下：

I0627 19:42:51.959991 7613 fetcher.cpp:533] Fetcher Info: {"cache_directory":"\/tmp\/mesos\/fetch\/slaves\/632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0"," items":[{"action":"BYPASS_CACHE","uri":{"cache":false,"executable":false,"extract":true,"value":"file:\/\/\/etc \/docker.tar.gz"}}],"sandbox_directory":"\/var\/lib\/mesos\/slaves\/632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0\/frameworks\/0e528b66-37aa -4d7a-933e-4638aabf494a-0000\/executors\/sources.b4e2c8e6-5b42-11e7-aec0-024227901b13\/runs\/219c102b-28ae-41d5-b98f-11829315119e"}
I0627 19:42:51.963241 7613 fetcher.cpp:444] 獲取 URI 'file:///etc/docker.tar.gz'
I0627 19:42:51.963279 7613 fetcher.cpp:285] 直接進入沙盒目錄
I0627 19:42:51.963295 7613 fetcher.cpp:222] 獲取 URI 'file:///etc/docker.tar.gz'
I0627 19:42:51.964923 7613 fetcher.cpp:207] 將資源“/etc/docker.tar.gz”複製到“/var/lib/mesos/slaves/632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0/frameworks/ 0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.b4e2c8e6-5b42-11e7-aec0-024227901b13/runs/219c102b-28ae-41d5-b98f-11829315119e/docker.tar。
I0627 19:42:52.070482 7613 fetcher.cpp:123] 提取 '/var/lib/mesos/slaves/632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0/frameworks/0e528b66-37aa-4d7a-933e-40038abf494/ executors/sources.b4e2c8e6-5b42-11e7-aec0-024227901b13/runs/219c102b-28ae-41d5-b98f-11829315119e/docker.tar.gz'進入'/var/lib/mesos/slaves/632f9d21-ae71-4cca-95e4 -63e2b3dbd78e-S0/frameworks/0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.b4e2c8e6-5b42-11e7-aec0-024227901b13/runs/219c102b-28ae-41d5-11929
I0627 19:42:52.070533 7613 fetcher.cpp:582] 將 'file:///etc/docker.tar.gz' 提取到 '/var/lib/mesos/slaves/632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0 /frameworks/0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.b4e2c8e6-5b42-11e7-aec0-024227901b13/runs/219c102b-28ae-41d5-b98f-11829315119e/docker'
I0627 19:42:56.096325 7643 exec.cpp:162] 版本：1.3.0
I0627 19:42:56.101958 7647 exec.cpp:237] 在代理 632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0 上註冊的執行程序
警告：您的核心不支持交換限制功能或未安裝 cgroup。記憶體有限，沒有交換。
% 總計 % 接收 % Xferd 平均速度 時間 時間 時間 目前
下載上傳總花費剩餘速度

0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 221 100 138 100 83 8657 5207 --:--:-- --:--:-- --:--:-- 9200
E0627 19:51:03.219312 7652 process.cpp:951] 無法接受套接字：未來被丟棄

消息您的核心不支持交換限制功能或未安裝 cgroup。記憶體有限，沒有交換。並且無法接受套接字：未來丟棄似乎是殺死我的容器的罪魁禍首。

我的問題是誰在 5 到 10 分鐘後一次又一次地殺死我的容器？

我還更新了/etc/default/grub文件

GRUB_CMDLINE_LINUX_DEFAULT="cgroup_enable=memory swapaccount=1"

並重新啟動了我的系統，但沒有任何進展。

關於這個問題的任何見解。

我的 Ubuntu VMWare 配置如下：

1. 分配的核心 3
2. 記憶體：6GB
3. 硬碟：32 GB
4. 我只執行一個容器，幾分鐘後它仍然退出。

---

[編輯：從 mesos UI 添加 stderr 文件內容：/var/lib/mesos/slaves/29df799b-4797-41df-a005-465f211d286b-S0/frameworks/0e528b66-37aa-4d7a-933e-4638aabf494a-0000 executors/sources.a634642c-5bbc-11e7-ba8b-024239f32c24/runs/1bda209c-c2b8-4bb5-a41b-26361e00a284]

添加另一個作業的 stderr 文件內容。

I0628 10:15:45.951104 4357 fetcher.cpp:533] 提取資訊：{"cache_directory":"\/tmp\/mesos\/fetch\/slaves\/29df799b-4797-41df-a005-465f211d286b-S0"," items":[{"action":"BYPASS_CACHE","uri":{"cache":false,"executable":false,"extract":true,"value":"file:\/\/\/etc \/docker.tar.gz"}}],"sandbox_directory":"\/var\/lib\/mesos\/slaves\/29df799b-4797-41df-a005-465f211d286b-S0\/frameworks\/0e528b66-37aa -4d7a-933e-4638aabf494a-0000\/executors\/sources.a634642c-5bbc-11e7-ba8b-024239f32c24\/runs\/1bda209c-c2b8-4bb5-a41b-26361e00a284"}
I0628 10:15:45.953835 4357 fetcher.cpp:444] 獲取 URI 'file:///etc/docker.tar.gz'
I0628 10:15:45.953881 4357 fetcher.cpp:285] 直接進入沙盒目錄
I0628 10:15:45.953974 4357 fetcher.cpp:222] 獲取 URI 'file:///etc/docker.tar.gz'
I0628 10:15:45.956663 4357 fetcher.cpp:207] 將資源“/etc/docker.tar.gz”複製到“/var/lib/mesos/slaves/29df799b-4797-41df-a005-465f211d286b-S0/frameworks/ 0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.a634642c-5bbc-11e7-ba8b-024239f32c24/runs/1bda209c-c2b8-4bb5-a41b-26361e00a284/docker.tar.z
I0628 10:15:46.061069 4357 fetcher.cpp:123] 提取 '/var/lib/mesos/slaves/29df799b-4797-41df-a005-465f211d286b-S0/frameworks/0e528b66-37aa-4d7a-933e-00038aabf44/ executors/sources.a634642c-5bbc-11e7-ba8b-024239f32c24/runs/1bda209c-c2b8-4bb5-a41b-26361e00a284/docker.tar.gz'變成'/var/lib/mesos/slaves/29df799b-4797-41df-a005 -465f211d286b-S0/frameworks/0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.a634642c-5bbc-11e7-ba8b-024239f32c24/runs/1bda209c-c2b8-4bb5-a241b-'
I0628 10:15:46.061148 4357 fetcher.cpp:582] 將 'file:///etc/docker.tar.gz' 提取到 '/var/lib/mesos/slaves/29df799b-4797-41df-a005-465f211d286b-S0 /frameworks/0e528b66-37aa-4d7a-933e-4638aabf494a-0000/executors/sources.a634642c-5bbc-11e7-ba8b-024239f32c24/runs/1bda209c-c2b8-4bb5-a41b-26361e00a284/docker.tar
I0628 10:15:49.898803 4389 exec.cpp:162] 版本：1.3.0
I0628 10:15:49.903390 4390 exec.cpp:237] 執行程序在代理 29df799b-4797-41df-a005-465f211d286b-S0 上註冊
警告：您的核心不支持交換限制功能或未安裝 cgroup。記憶體有限，沒有交換。
% 總計 % 接收 % Xferd 平均速度 時間 時間 時間 目前
下載上傳總花費剩餘速度

0 0 0 0 0 0 0 0 --:--:-- --:--:-- --:--:-- 0
100 221 100 138 100 83 5385 3239 --:--:-- --:--:-- --:--:-- 11500
W0628 10:15:49.903390 4389 logging.cpp:91] RAW：從使用者 0 的程序 3287 接收到信號 SIGTERM；退出

今天沒有在文件中創建新日誌/var/lib/mesos-master.ERROR文件內容/var/log/mesos-master.WARNING：

日誌文件創建於：2017/06/28 10:04:56
在機器上執行：ubuntu
日誌行格式：[IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
W0628 10:04:56.387049 3193 authenticationator.cpp:512] 未提供憑據，身份驗證請求將被拒絕
W0628 10:14:56.617103 3221 master.cpp:2011] 代理 632f9d21-ae71-4cca-95e4-63e2b3dbd78e-S0 (ubuntu) 沒有在主故障轉移後 10 分鐘內重新註冊；將其標記為無法訪問

file 的內容/var/log/mesos-slave.WARNING與 if 文件的內容相同mesos-slave.ERROR。文件內容/var/log/mesos-slave.ERROR：

日誌文件創建於：2017/06/28 10:05:00
在機器上執行：ubuntu
日誌行格式：[IWEF]mmdd hh:mm:ss.uuuuuu threadid file:line] msg
E0628 10:05:00.712286 3287 shell.hpp:107] 命令 'hadoop 版本 2>&1' 失敗；這是輸出：
sh：1：hadoop：未找到
E0628 10:24:45.502921 3326 slave.cpp:4496] 無法更新執行器 'sources.a634642c-5bbc-11e7-ba8b-0242a36f32c2c-5bbc4' 執行任務源的容器 1bda209c-c2b8-4bb5-a41b-26361e00a284 的資源。 -11e7-ba8b-024239f32c24 關於終端任務的狀態更新，正在破壞容器：無法確定“cpu”子系統的 cgroup：無法讀取 /proc/4469/cgroup：無法打開文件：沒有這樣的文件或目錄
E0628 10:33:45.789072 3327 slave.cpp:4496] 無法更新執行器 'sources.e7e069ed-5bbd-11e7-ba8b-024239f32c24' 執行任務源的容器 858170ce-0775-48be-8c85-3a1dbf320569 的資源。 -11e7-ba8b-024239f32c24 關於終端任務的狀態更新，銷毀容器：無法確定“cpu”子系統的 cgroup：無法讀取 /proc/5215/cgroup：無法打開文件：沒有這樣的文件或目錄

我觀察到消息：

Failed to read /proc/5215/cgroup: Failed to open file: No such file or directory

只有當容器/任務被殺死時才會出現。而這些文件存在於目前正在執行的容器中。謝謝。

馬拉松似乎依賴使用者來實施健康檢查。即如果我們在應用配置中提供健康檢查，我們必須實現它。我刪除了我在應用程序配置中提供的所有健康檢查。在那次馬拉松之後，應用程序的健康狀況顯示為未知，但現在馬拉松（特別是 mesos-slave）不會終止任務。

引用自：https://serverfault.com/questions/858982