為什麼我的 robots.txt 不起作用？

我有這個 robots.txt：

User-Agent: *
Disallow: /files/

User-Agent: ia_archiver
Allow: /

User-agent: Googlebot 
Disallow: 

User-agent: googlebot-image 
Disallow: 

User-agent: googlebot-mobile 
Disallow: 

我發現 /files/ 目錄中的 PDF 文件正在被 Google 索引。

我應該將第一個條目移到底部嗎？

在使用 Google 的網站管理員工具時。我將 /files/ disallow 移到了底部，並對 files 目錄中的一個 PDF 文件進行了測試，它返回了 Success。

我該如何解決這個問題？我們不希望此目錄中的任何內容被索引。

已編輯

即使我刪除了除第一個子句之外的所有內容，

User-Agent: *
Disallow: /files/

Google 仍然可以在 /files/ 目錄中看到 PDF，我在這裡做錯了什麼？

在 Bing 的網站管理員工具中，它顯示為被阻止，但 Google 仍然顯示成功。

編輯：重新閱讀標準。機器人將使用第一個匹配的名稱令牌，或回退到*. 對於您要拒絕訪問的每個機器人/files/，您需要添加一個匹配的disallow:

User-agent: *
Disallow: /files/

User-agent: Googlebot 
Disallow: /files/

http://www.robotstxt.org/是一個很好的資源，如果你還沒有看到的話。

引用自：https://serverfault.com/questions/593433