robots.txt 正在重定向到預設頁面

你好，

通常，如果我在地址欄中鍵入“oneofmysites.com/robots.txt”，任何瀏覽器都會顯示 robots.txt 的內容。如您所見，這是非常標準的行為。

我只有一個沒有的網路伺服器。相反，robots.txt 會重定向到預設網頁（即“thesiteinquestion.com/”）。這個顯著的差異（只有七個站點之一）讓我擔心。

問題：這需要擔心嗎？如果是這樣，我錯過的可能錯誤是什麼？

筆記：

• 這個網站是我使用的唯一一個擁有獨立服務提供商的網站。
• CentOS 6.10 版（最終版）
• 網民
• robots.txt 文件權限為 644

這取決於伺服器配置，可能不允許 .txt 文件。配置中的某處可能存在規則或某些 .htaccess 指定如果 url 與特定模式（例如 .html、.php、.htm 等）不匹配，然後將其餘部分重定向到索引頁面Web 根目錄。

補充一點資訊，Web 提供商根本不會被迫遵守 robots.txt 標準，因此可以用它製作任何他想要的東西，就像 Serge 所說的那樣，它可以被重定向到任何地方。

引用自：https://serverfault.com/questions/952682