如果網站沒有 robots.txt 文件會怎樣？

如果robots.txt網站的根目錄中缺少該文件，則如何處理：

1. 該網站根本沒有被索引
2. 該網站被索引，沒有任何限制

根據我的說法，它在邏輯上應該是第二個。我問這個問題。

文件的目的robots.txt是讓爬蟲遠離您網站的某些部分。沒有一個應該會導致您的所有內容都被索引。

對該 Meta 問題的第一條評論的含義是該robots.txt文件存在但無法訪問（無論出於何種原因），而不是根本不存在。這可能會導致網路爬蟲出現一些問題，但這是猜測。

我的robots.txt部落格上沒有（自託管 Wordpress 安裝）並且已編入索引。

Robots.txt 是搜尋引擎之間的嚴格自願約定；他們可以自由地忽略它，或者以他們選擇的任何方式實施它。也就是說，除了偶爾的蜘蛛尋找電子郵件地址或類似的東西，他們幾乎都尊重它。它的格式和邏輯非常非常簡單，預設規則是允許（因為你只能禁止）。沒有 robots.txt 的網站將被完全索引。

引用自：https://serverfault.com/questions/154820