讓Google停止抓取舊頁面

好的，所以我有一個奇怪的問題。我們的網站被Google抓取了很多。這有幾個原因，這並不容易改變。其中之一是您可以通過 ita.example.com（意大利語）和 fra.example.com（法語）訪問我們網站的本地化版本，如果未登錄，我們會進行 301 重定向，並且內容不會被本地化（想想論壇文章）但這仍然會導致大量的抓取，因為Google認為我們的 50 個子域都是不同的站點（不是最好的想法，但在我之前並且不容易改變）

我不想讓Google限速，我知道我可以在網站管理員工具或 robots.txt 文件中做到這一點

但是，對於 6 個子域，7 年前的論壇文章並沒有真正改變，也不需要每天抓取。

現在我知道我可以在頁面上設置一個“過期”，但這會阻止它出現在Google搜尋結果中，我可以用元標記阻止它，但這會做同樣的事情。

有什麼方法可以指定Google“這是一個舊頁面，每年抓取一次以上”或其他什麼？

如果沒有辦法做到這一點，有沒有辦法對某些目錄設置速率限制？

sitemap.xml文件 ( http://en.wikipedia.org/wiki/Sitemaps ) 包含一個<changefreq>元素，該元素指示搜尋引擎應多久檢查一次更新。為這些 URL 創建站點地圖並將其設置為每月、每年或從不應該會降低 Google 抓取這些 URL 的頻率。

您可以安裝 nofollow 元標記

< META NAME=“ROBOTS” CONTENT=“NOINDEX, NOFOLLOW” >

引用自：https://serverfault.com/questions/504809