這是一個有效的 robots.txt 文件嗎？

我有這個 robots.txt 文件：

User-agent: *
Sitemap: Path_to_sitemap.xml

我的問題是，我還應該在裡面放些別的東西嗎？像允許全部還是什麼？

謝謝

這是一個有效的 robots.txt。您可以從 google 閱讀這篇文章：http ://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156449

取決於你想要什麼;-)你不必允許某事。特殊的，只需阻止您不會被 Google 和 Co. 抓取的內容。

引用自：https://serverfault.com/questions/186163