如何防止搜尋引擎將特定網址編入索引

我有一個不想編入索引的網址：

http://www.mysite.com/moduleA?param=secretkey

所以當我用Google搜尋“mysite.com”時，我不希望上面的連結出現在搜尋結果中。

但是，以下網址是公開查看的一部分：

www.mysite.com/moduleA
www.mysite.com/moduleA?id=12345
www.mysite.com/moduleA/somepage.html

這可以做到嗎？robots文件可以用於此嗎？

你可以做幾件事：

• robots.txt在文件中阻止該 URL 。
• 當包含該參數時，在標頭中輸出一個ROBOTS META標籤。

但最終，任何秘密都不應該直接進入這樣的 URL - 並非所有網路爬蟲都遵守這些機器人指令，有些（垃圾郵件機器人等）專門搜尋它們並查看它們。

引用自：https://serverfault.com/questions/100599