robots.txt 上的 301 重定向或禁止？
我最近要求在 ServerFault 上進行 301 重定向，但我沒有找到合適的解決方案來解決我的問題，但現在我有了一個新想法：使用 robots.txt 禁止我網站中的某些 URL 被“抓取”。
我的問題很簡單：從專有的、定制的 CMS 遷移到 WordPress 後，我們有很多 Google 在新站點上找不到的 URL，然後轉到 404 頁面。這對我們的 Pagerank 和搜尋不利，因為 Google 仍然認為這些頁面是存在的。
我們有一個不起作用的 URL 列表，我試圖重定向到好的 URL。問題是，它們有 20.000 個，並且沒有機會用正則表達式解決問題。我們必須一個接一個地進行 301 次重定向，這是一項艱鉅的任務。
但我想知道：我們是否可以在 robots.txt 上列出所有帶有“Disallow:”前綴的錯誤 URL，以便 Google 不會將它們編入索引？這是一個壞主意嗎？
如果 Google 認為您的 404 頁面有效，那麼您需要在該頁面上返回 404 響應程式碼。解決這個問題，其餘的都會好起來的。
簡單地說，是的，這不是一個好主意。通過阻止Google看不到頁面，它無法確定頁面上的內容，並且在某些情況下可以將它們視為可疑，因為您隱藏了不必要的東西。
您應該做的是將任何相關頁面重定向到新頁面。
例子
“domain-old.com/a”和“domain-old.com/b”可能會被重定向到“domain-new.com/ab”
這是因為 /a + /b 的內容在 /ab 上 - 存在相關性並且重定向是有意義的。
如果它有不相關的內容重定向，這將被認為是不好的
“domain-old.com/a”、“domain-old.com/b”和“domain-old.com/c”重定向到“domain-new.com/ab”
在這種情況下 /c 沒有意義，因為 /ab 與 /c 頁面上的內容無關
/c 將留下 404
請務必注意，如果您的網頁收到 404，您將失去該流量。