Iis
修改 Web.config 以阻止搜尋引擎抓取 pdf
我試圖阻止網路爬蟲索引網站上的 pdf 文件。我知道如何使用 .htaccess 文件而不是 web.config 文件來執行此操作。此程式碼段將阻止爬蟲索引整個站點正確嗎?為了阻止 pdf 被抓取,我需要什麼?是否可以?
<httpProtocol> <customHeaders> <add name="X-Robots-Tag" value="noindex" /> </customHeaders> </httpProtocol>
使用 IIS URL 重寫模組可以設置響應標頭。
<system.webServer> <rewrite> <outboundRules> <rule name="X-Robots-Tag: noindex to .pdf"> <match serverVariable="RESPONSE_X_Robots_Tag" pattern=".*" /> <conditions> <add input="{REQUEST_FILENAME}" pattern="\.pdf$" /> </conditions> <action type="Rewrite" value="noindex"/> </rule> </outboundRules> </rewrite> </system.webServer>