我需要分析在我的網站上進行的搜尋引擎爬行。有沒有一個很好的工具呢？我試過AWStats和Sawmill。但這兩者都讓我對爬行的了解非常有限。我需要知道一些資訊，例如我網站的某個部分中有多少獨特/不同的網頁在一段時間內被特定的爬蟲爬取。
由於其 javascript 跟踪機制，Google分析根本不跟踪抓取。
Clarity是一個類似於 Splunk 的前端界面。
Logstash應該能夠為您提供所需的幫助。
引用自：https://serverfault.com/questions/185722