抓取機器人可以啟用 JavaScript 嗎？

我有幾千個請求似乎來自啟用了 JavaScript 的客戶端，我想知道該客戶端是否可能是機器人。

是的 - 機器人可以用它收集的資源做任何它想做的事，這當然可以包括解釋 javascript。

以穀歌在搜尋結果中新的小縮略圖顯示為例；許多網站依賴 javascript 來實現基本的顯示功能，因此必須對 js 進行解釋才能提供接近準確的預覽。

最簡單的判斷方法可能是檢查使用者代理字元串；行為良好的機器人只會告訴你它們是什麼。

引用自：https://serverfault.com/questions/307238