帶有多個虛擬主機的 Robots.txt

我的 Web 伺服器正在apache 2.4.10為以下域名執行 () 不同的虛擬主機：

foo.example.com
bar.example.com
www.example.com
example.com

這是我的虛擬主機的配置文件：

<VirtualHost *:80>
       DocumentRoot /var/www/

       Redirect 404 /
       ErrorLog ${APACHE_LOG_DIR}/error.log
       CustomLog ${APACHE_LOG_DIR}/access.log combined
</VirtualHost>

<VirtualHost *:80>
       ServerName foo.example.com
       DocumentRoot /var/www/foo/

       ErrorLog ${APACHE_LOG_DIR}/foo-error.log
       CustomLog ${APACHE_LOG_DIR}/foo-access.log combined
</VirtualHost>

<VirtualHost *:80>
       ServerName bar.example.com
       DocumentRoot /var/www/bar/

       ErrorLog ${APACHE_LOG_DIR}/bar-error.log
       CustomLog ${APACHE_LOG_DIR}/bar-access.log combined
</VirtualHost>

<VirtualHost *:80>
       ServerName example.com
       ServerAlias www.example.com
       DocumentRoot /var/www/www/

       ErrorLog ${APACHE_LOG_DIR}/www-error.log
       CustomLog ${APACHE_LOG_DIR}/www-access.log combined
</VirtualHost>

我想知道如何處理robots.txt文件。我希望我的所有域都不會被索引。

這是我的robots.txt文件：

User-agent: *
Disallow: /

我將它複製到這樣的幾個目錄中：

/var/www
    |-- foo
    |   |
    |   `-- robots.txt
    |
    |-- bar
    |   |
    |   `-- robots.txt
    |
    |-- robots.txt
    |
    `-- www
        |
        `-- robots.txt

這是一個正確的配置嗎？

對我來說看起來不錯，你為什麼不試試看呢？如果它們都相同，您可能需要考慮使用指向單個文件的連結，這樣您只需在一個地方進行更改。

另請記住，並非所有機器人都會使用 robots.txt 文件，您最終可能不得不使用其他方式阻止它們。

引用自：https://serverfault.com/questions/712918