Amazon-Web-Services

相當於 EMR 集群上的“top”命令?

  • June 16, 2018

我有一個在 AWS 上執行的 3 實例 EMR 集群,目前它的響應非常緩慢。

使用瀏覽器檢查埠 8088 上的 Hadoop 儀表板時,我看到“已用記憶體:203.5GB”和“可用記憶體:214GB”。我認為問題就在那裡:所有 RAM 都被目前佔用。

如何找出正在執行並囤積所有 RAM 的應用程序?有沒有類似top集群命令的東西?當我 SSH 到主節點並檢查topandfree -g時,輸出表明 >50% 的 RAM 仍然可用,這與埠 8088 網路報告的輸出相矛盾。

Amazon 已經提供了一個 Web 界面,其中包含有關您的 EMR 集群的統計資訊,只需訪問:

https://console.aws.amazon.com//elasticmapreduce/home

選擇名稱下的集群連結以打開集群的集群詳細資訊頁面。使用每個選項卡查看相關資訊。

例如,您可以通過轉到Application history然後選擇Application id並展開該行來查找 Spark 應用程序的工作詳細資訊。更多詳細資訊:https ://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-cluster-application-history.html

引用自:https://serverfault.com/questions/913578