似乎阻止 /my-beautiful-sef-url-123

我的 robots.txt 看起來像這樣：

User-agent: *
Disallow: /system/
Disallow: /admin/
Disallow: /index.php

顯而易見的目標是防止所有醜陋的 URL 被編入索引，因為它們都以“/index.php”開頭。

但由於某種原因，所有像*/my-beautiful-sef-url-123這樣的 URL都列在 Google 網站管理員工具中的抓取錯誤下，並帶有“URL 受 robots.txt 限制”。（當我測試這樣的 URL 時，它會為 Googlebot 和 Googlebot-Mobile 生成Allowed 。）*

有人可以幫忙嗎？

像*/my-beautiful-sef-url-123*這樣的 URL 是真實頁面還是重定向到另一個頁面？如果他們進行重定向，也許嘗試在 Google 網站管理員中測試重定向到頁面？

引用自：https://serverfault.com/questions/149063