Linux

刪除kafka主題文件夾的安全和最佳方法是什麼

  • November 30, 2017

在我們所有的 kafka 機器(生產機器)上,我們看到:(沒有可用空間)

df -h /var/kafka 
Filesystem      Size  Used Avail Use% Mounted on
/dev/sdb         11T   11T  2.3M 100% /var/kafka

並在**/var/kafka/kafka-logs下**

我們以所有主題文件夾(大尺寸)為例:

117G hgpo.llo.prmt.processed-28 
117G hgpo.llo.prmt.processed-29 
117G hgpo.llo.prmt.processed-3 
117G hgpo.llo.prmt.processed-30 
117G hgpo.llo.prmt.processed-31 
117G hgpo.llo.prmt.processed-32

從文件夾/var/kafka/kafka-logs中刪除主題的最佳方法是什麼,

以及這樣做的確切步驟是什麼,例如在刪除之前停止服務等。

第二個重要問題:

假設自動刪除主題的機制是什麼?

使用適當的log.retention.X代理屬性,如此所述。預設情況下,日誌保留 168 小時(7 天),但您可以將其設置為低至 1 毫秒(這對於完全清除主題很有用)。

您還可以使用bin/kafka-topics.sh.

在更改這些屬性之前,您應該閱讀並理解日誌保留和壓縮文件。

另請注意,日誌不會立即清除,因此如果您繼續寫入它們,您可能會在釋放任何舊空間之前用完磁碟空間。

最後,檢查 Kafka 代理執行時日誌——根據代理上發生的情況,它們也可能變得非常大。在 Linux 上使用truncate命令清除它們。

引用自:https://serverfault.com/questions/886002