今天的“问SEO”问题来自孟买的Bhumik，他问：
“我对自动生成的URL有一个问题。我的公司以前使用过不同的工具来生成站点地图。但最近，我们开始手动创建它们，选择必要的URL，并在robots.txt中阻止其他URL。
我们现在面临着50多个自动生成URL的问题。
例如，我们有一个名为“关键字关键字”URL的页面：https:\/\/url.com\/keyword-keyword\/我们还有另一个页面知识中心URL：https:\/\/www.url.com\/folder\/keyword-keyword.
在覆盖率问题中，我们看到5xx系列下的错误，它创建了全新的URLhttps:\/\/test.url.com\/keyword-keyword\/keyword-keyword.我们尝试了许多方法，但没有找到解决方案。”
嗨，巴米克，
这是一个有趣的情况，你发现自己在。
好消息是，5XX错误往往会自行解决，所以不要担心这个问题。
你所面临的食人问题也比大多数人想象的更为普遍。
例如，对于电子商务商店，您可以在多个文件夹中显示相同的产品（或相同的产品集合）。
那么，哪一个是官方的？
这同样适用于B2B金融领域的情况（我删除了上面的URL，并将其替换为“关键字关键字”）
这就是搜索引擎创建规范链接的原因。
规范链接是一种告诉搜索引擎何时一个页面是另一个页面的副本，以及哪个页面是官方页面的方法。
让我们假装你卖粉红色的兔子拖鞋。
这些兔子拖鞋有自己的页面，它们在出售，它们出现在鞋类中，也有粉红色。
- url.com\/products\/pink-bunny-slippers。
- url.com\/on-sale\/pink-bunny-slippers。
- url.com\/products\/pink\/pink-bunny-slippers。
- url.com\/category\/foother\/pink-bunny-slippers。
上面的第一个URL是URL的“官方版本”。
这意味着它应该有一个指向自身的规范链接。
其他三页是它的复制版本。因此，当您设置规范链接时，它应该引用官方页面。
简而言之，您需要确保所有四个页面都具有rel=“canonical”href=”https:\/\/url.com\/products\/pink-bunny-slippers“因为这将为搜索引擎消除重复数据。
接下来，您需要确保从站点地图中删除所有重复版本。
网站地图应该包含网站上最重要和可索引的页面。
您不希望包含非官方版本的页面，机器人不允许的页面。txt和站点地图中的非标准化URL。
搜索引擎不会每次都抓取你的整个网站——如果你把它们发送到不重要的页面，你就浪费了正确抓取网站的能力
d索引。
这里可能会出现另一种情况。
如果您启用了站点搜索，它还可以创建重复的URL。
如果我在你网站的搜索框中输入“粉红兔拖鞋”，我很可能会得到一个URL，该URL中有相同的关键字短语——还有参数。
这将进一步加剧您的问题，您的IT团队将需要通过编程方式设置到搜索结果的规范链接以及noindex的元机器人，如下所示。
另一件需要注意的事情是：如果我点击搜索结果中的粉红兔拖鞋页面，这些参数可能会保持不变。
如果他们这样做了，请采取与上述相同的步骤。
使用适当的规范链接并确保您的站点地图没有非官方页面，将有助于解决重复页面问题，并有助于确保您不会浪费蜘蛛的访问时间，让它抓取站点上的错误页面。
我希望这有帮助！
