可以從瀏覽器訪問 Web 應用程序但爬蟲應用程序拋出 404 錯誤？

我正在使用一個名為Xenu Link Sleuth的應用程序來嘗試在我們託管的網站上查找損壞的連結。當我通過瀏覽器訪問該站點時，它會立即打開。

當我嘗試通過 Xenu 執行它時，它會立即拋出 404 not found 錯誤。我檢查了 Robots.txt 文件，認為 Xenu 可能正在使用它作為基礎，但我確定這不是原因。

有誰知道可能發生這種情況的任何事情？是否有我不知道的安全設置會為爬蟲拋出 404 錯誤？

任何幫助表示讚賞，我很難過。

此外，這是一個 Intranet 站點。不確定這是否會有所作為。

我會檢查幾件事……首先確保 URL 沒有破壞它。本週早些時候有各種關於 hashbangs#!破壞事物的文章。另外，我會查看您的請求在日誌中的外觀與此軟體請求在日誌中的外觀。

找不到網站頁面時會引發 404 錯誤。請確保您為網站設置了預設文件。

引用自：https://serverfault.com/questions/236347