如何鼓勵 Google 閱讀新的 robots.txt 文件？

我剛剛在一個新網站上更新了我的 robots.txt 文件；Google網站管理員工具報告它在我上次更新前 10 分鐘讀取了我的 robots.txt。

有什麼辦法可以鼓勵 Google 盡快重新閱讀我的 robots.txt？

更新：在站點配置下 | 爬蟲訪問 | 測試 robots.txt：

首頁訪問顯示：

Googlebot 從http://my.example.com/被阻止

僅供參考：Google 上次閱讀的 robots.txt 如下所示：

User-agent: *
Allow: /<a page>
Allow: /<a folder>
Disallow: /

我是在腳上開槍，還是最終會讀到：http:///robots.txt（就像上次讀到它一樣）？

關於我需要做什麼的任何想法？

萬一其他人遇到這個問題，有一種方法可以強制 google-bot 重新下載 robots.txt 文件。

轉到“健康”->“以 Google 方式獲取”

$$ 1 $$並讓它獲取 /robots.txt 這將重新下載文件，Google也將重新解析文件。

$$ 1 $$在以前的 Google UI 中，它是“診斷 -> 作為 GoogleBot 獲取”。

我知道這已經很老了，但是…如果您上傳了錯誤的 robots.txt（禁止所有頁面），您可以嘗試以下操作：

• 首先更正您的 robots.txt 以允許正確的頁面，然後
• 使用您的頁面上傳 sitemap.xml

當 google 嘗試讀取 xml 站點地圖時，它會再次檢查 robots.txt，迫使 google 重新讀取您的 robots.txt。

引用自：https://serverfault.com/questions/171985