Linux
刪除kafka主題文件夾的安全和最佳方法是什麼
在我們所有的 kafka 機器(生產機器)上,我們看到:(沒有可用空間)
df -h /var/kafka Filesystem Size Used Avail Use% Mounted on /dev/sdb 11T 11T 2.3M 100% /var/kafka
並在**/var/kafka/kafka-logs下**
我們以所有主題文件夾(大尺寸)為例:
117G hgpo.llo.prmt.processed-28 117G hgpo.llo.prmt.processed-29 117G hgpo.llo.prmt.processed-3 117G hgpo.llo.prmt.processed-30 117G hgpo.llo.prmt.processed-31 117G hgpo.llo.prmt.processed-32
從文件夾/var/kafka/kafka-logs中刪除主題的最佳方法是什麼,
以及這樣做的確切步驟是什麼,例如在刪除之前停止服務等。
第二個重要問題:
假設自動刪除主題的機制是什麼?
使用適當的
log.retention.X
代理屬性,如此處所述。預設情況下,日誌保留 168 小時(7 天),但您可以將其設置為低至 1 毫秒(這對於完全清除主題很有用)。您還可以使用
bin/kafka-topics.sh
.在更改這些屬性之前,您應該閱讀並理解日誌保留和壓縮文件。
另請注意,日誌不會立即清除,因此如果您繼續寫入它們,您可能會在釋放任何舊空間之前用完磁碟空間。
最後,檢查 Kafka 代理執行時日誌——根據代理上發生的情況,它們也可能變得非常大。在 Linux 上使用
truncate
命令清除它們。