Robots.txt - 禁止抓取子域上的一個目錄

我已將我的產品展示放在子域上，例如http://demo.domain.com/productname/. 產品的展示版位於http://demo.domain.com/productname/demo/。我想禁止抓取展示版，有人可以幫助我嗎？

robots.txt 必須在根目錄中；如果您已將展示版產品放在子域的文件夾中，那麼您需要更改子域 robots.txt 文件，該文件應該是 aka；http://demo.domain.com/robots.txt

機器人.txt：

user-agent: *
disallow: /productname/demo
allow: /

引用自：https://serverfault.com/questions/766111