如何在 Apache 上創建一個附加到每個域自己的 robots.txt 的全域 robots.txt？

我知道可以為 Apache 伺服器上的所有域創建一個 robots.txt 文件*，但我想附加到每個域的（如果預先存在）robots.txt。我希望為所有域制定一些通用規則，但我需要允許不同的域具有其獨特的規則。

有沒有辦法做到這一點？

（*在我的情況下是 Apache 2.2.x）

從 Apache 的角度來看，robots.txt它只是一種被服務的資產。robots.txt您可以通過輸出過濾器來更改請求時返回的內容。

如果你想附加一些文本，你可以定義一個外部過濾器。假設 Apache 在類 Unix 作業系統上執行，過濾器配置可以是

ExtFilterDefine appendRobotstxt cmd="/bin/cat - /var/www/html/robots-tail.txt"
<Location /robots.txt>
   SetOutputFilter appendRobotstxt
</Location>

這將連接robots-tail.txt到響應的末尾。

引用自：https://serverfault.com/questions/444947