Iis

修改 Web.config 以阻止搜尋引擎抓取 pdf

  • November 8, 2020

我試圖阻止網路爬蟲索引網站上的 pdf 文件。我知道如何使用 .htaccess 文件而不是 web.config 文件來執行此操作。此程式碼段將阻止爬蟲索引整個站點正確嗎?為了阻止 pdf 被抓取,我需要什麼?是否可以?

<httpProtocol>
   &lt;customHeaders&gt;
       &lt;add name="X-Robots-Tag" value="noindex" /&gt;
   &lt;/customHeaders&gt;
&lt;/httpProtocol&gt;

使用 IIS URL 重寫模組可以設置響應標頭。

&lt;system.webServer&gt;
 &lt;rewrite&gt;
   &lt;outboundRules&gt;
     &lt;rule name="X-Robots-Tag: noindex to .pdf"&gt;
       &lt;match serverVariable="RESPONSE_X_Robots_Tag" pattern=".*" /&gt;
       &lt;conditions&gt;
         &lt;add input="{REQUEST_FILENAME}" pattern="\.pdf$" /&gt;
       &lt;/conditions&gt;
       &lt;action type="Rewrite" value="noindex"/&gt;
     &lt;/rule&gt;
   &lt;/outboundRules&gt;
 &lt;/rewrite&gt;
&lt;/system.webServer&gt;

引用自:https://serverfault.com/questions/1041596