如何通過 cron 有效地規劃 100 個工作？

我正在安排通過scrapy和cron部署的蜘蛛。每個蜘蛛一行。現在有 100 只蜘蛛，這變得非常難以計劃和管理。管理大量工作的推薦方法是什麼？查看暫停/恢復作業所需的潛在維護時間，以及重疊作業等。

不要使用 cron

如果您的需求很複雜，您可能會考慮使用更高級的產品，該產品旨在執行複雜的計劃（分佈在多個伺服器上）並支持觸發器、作業依賴性、錯誤處理、重試和重試監控等。行業術語將是“企業”作業調度和/或“工作負載自動化”。

如果您需要安排任務何時執行，而不是多久執行一次，您可以繼續使用 cron。為了避免任務的交叉執行，您可以讓 cron 只執行一個簡短的腳本，將任務添加到某種隊列（redis、rabbitmq、sql 數據庫），然後讓另一個腳本使用該隊列並按順序或以有限的並發執行工作負載。這當然會帶來另一類問題，例如如何處理阻止其他工作負載執行的卡住工作負載 :)

引用自：https://serverfault.com/questions/1017709