今天的“Ask An SEO”问题来自孟买的 Bhaumik，他问道：
“我有一个关于自动生成的 URL 的问题。我的公司以前使用不同的工具来生成站点地图。但最近，我们开始通过选择必要的 URL 并在 robots.txt 中阻止其他 URL 来手动创建它们。
我们现在面临一个问题，即自动生成的 URL 超过 50 个。
例如，我们有一个页面叫做“keyword关键字” URL：https://url.com/keyword-keyword/，我们还有另一个页面知识中心 URL：https://www.url.com/folder/keyword-keyword .
在覆盖问题中，我们看到 5xx 系列下的错误创建了全新的 URL，例如 https://test.url.com/keyword-keyword/keyword-keyword。我们尝试了很多方法，但我们没有找到解决这个问题的方法。”
嗨，鲍米克，
这是一个有趣的情况，你发现自己。
好消息是 5XX 错误往往会自行解决，因此不必担心。
您面临的自相残杀问题也比大多数人想象的更为普遍。
例如，对于电子商务商店，您可以让相同的产品（或相同的产品集合）出现在多个文件夹中。
那么，哪一个是官方的呢？
您在 B2B 金融领域的情况也是如此（我删除了您上面的 URL 并将其替换为“关键字关键字”。）
这就是搜索引擎创建规范链接的原因。
规范链接是一种告诉搜索引擎页面何时与另一个页面重复以及哪个页面是官方页面的方法。
假设你卖粉色兔子拖鞋。
这些兔子拖鞋有自己的页面，它们正在打折，它们出现在鞋类和粉红色中。
- url.com/products/pink-bunny-slippers.
- url.com/on-sale/pink-bunny-slippers.
- url.com/products/pink/pink-bunny-slippers.
- url.com/category/footwear/pink-bunny-slippers.
上面的第一个 URL 是 URL 的“官方版本”。
这意味着它应该有一个指向自身的规范链接。
其他三页是它的重复版本。因此，当您设置规范链接时，它应该参考官方页面。
简而言之，您需要确保所有四个页面都有 rel=”canonical” href=”https://url.com/products/pink-bunny-slippers”，因为这将为搜索引擎删除重复数据。
接下来，您需要确保从站点地图中删除所有重复版本。
站点地图应该包含您网站上最重要和可索引的页面。
您不想在站点地图中包含页面的非官方版本、robots.txt 不允许的页面以及非规范化的 URL。
搜索引擎不会每次都抓取您的整个网站——如果您将它们发送到不重要的页面，您就是在浪费您正确抓取和索引的能力。
这里还可能出现另一种情况。
如果您启用了站点搜索，它还可以创建重复的 URL。
如果我在您网站的搜索框中输入“pink bunny slippers”，我很可能会得到一个在 URL 中具有相同关键字词组的 URL，并且还带有参数。
这将进一步解决您的问题，您的 IT 团队将需要以编程方式设置搜索结果的规范链接以及用于 noindex 的元机器人，请遵循。
要寻找的另一件事是：如果我从搜索结果中单击粉红色兔子拖鞋页面，这些参数可能会保留。
如果他们这样做，请采取上述相同的步骤。
使用正确的规范链接并确保您的站点地图没有非官方页面将有助于解决重复页面问题，并有助于确保您不会因为蜘蛛抓取您网站上的错误页面而浪费它的访问。
我希望这有帮助！
