想象你自己的内容。你有没有带一些可以扔掉的行李？携带一些你想保留的东西，但可能想改变用途或以不同的方式看待？
这与网站内容没有什么不同。我们都可能会坐在一起思考我们想从网站上删除的内容，但意识到仍然需要它，无论是针对特定的潜在客户、内部团队等。
当我们为了内容管理目的寻找尽可能精简网站的方法时，我们也希望这样做，以安抚爬行的搜索引擎机器人。
我们希望他们每天访问我们的网站的速度和简洁。
这很有希望向他们展示我们是谁，我们是关于什么的，最终——如果我们必须有不能删除的内容——我们如何为他们贴标签。
幸运的是，搜索引擎爬虫想要理解我们的内容，就像我们想要他们一样。我们有机会规范化内容和noindex内容。
但是，请注意，如果做得不正确，可能会导致重要网站内容被搜索引擎爬虫误解或根本无法阅读。
标准化？
作者截图，2022年7月
规范标签为指导搜索引擎提供了一种很好的方式：“是的，我们知道这些内容不是那么独特或有价值，但我们必须拥有它。”
它也是一种很好的方法，可以将价值指向源自另一个域的内容，反之亦然。
尽管如此，现在是向爬行机器人展示您如何感知网站内容的时候了。
要使用它，必须将此标记放在源代码的头部分中。
canonical标记是处理您知道的重复或类似内容的一种很好的方法，但它必须存在于站点上的用户需求或缓慢的站点维护团队中。
如果您认为此标签非常适合您的网站，请查看您的网站和地址网站部分，这些部分似乎有单独的URL，但内容类似（例如，副本、图像、标题、标题元素等）。
网站审计工具，如尖叫青蛙和Semrush网站审计部分是查看内容相似性的快速方法。
如果您认为可能存在其他类似的内容罪魁祸首，您可以使用类似的页面检查器和Siteliner等工具进行更深入的研究，这些工具将检查您的站点是否有类似的内容。
既然您对相似性案例有了良好的感觉，那么您需要了解这种缺乏唯一性是否值得规范化。以下是一些示例和解决方案：
示例1：您的网站存在于网站页面的HTTP和HTTPS版本，或者您的网站同时存在于www和非www。页面版本。
解决方案：将一个规范标记放置到具有大量链接、内部链接等的页面版本，直到您可以一对一地重定向所有重复页面
示例2：您销售的产品非常相似，这些页面上没有唯一的副本，但名称、图像、价格等略有变化。您是否应该规范地将特定产品页面指向产品父页面？
解决方案：
在这里，我的建议是什么也不要做。这些页面是唯一的，可以索引。它们有独特的名称来区分它们，这可以帮助您处理长尾关键字实例。
例3：你卖t恤，但每种颜色和每件衬衫都有一页。
解决方案：Canonical标记颜色页面以引用父衬衫页面。每个页面都不是一个特定的产品，只是一个非常相似的变体。
用例：独特到足以成功的规范标记内容
与上述示例类似，我想解释一下，有时，稍微相似的内容仍然适用于指数化。
如果是带有不同衬衫类型（如长袖、背心等）的子页面的衬衫呢。？这现在变成了一种不同的产品，而不仅仅是一种变化。如前所述，这可以成功地用于长尾网络搜索。
这是一个很好的例子：一个汽车销售网站，提供汽车制造商、相关车型以及这些车型的变体（2Dr、4Dr、V8、V6、豪华版等）的页面。这个网站的最初想法是，所有的变化都是模型页面的复制品。
您可能会想，当我们可以将这些页面规范化为指向模型页面作为代表页面时，为什么我们要用这种几乎重复的内容来烦扰搜索引擎？
我们朝着这个方向前进，但仍然担心这些页面是否会成功，因此我们开始对每个模型页面进行规范化标记。
假设您规范地标记父模型页面。即使您向搜索引擎显示了内容的重要性\/层次结构，它们仍可能对规范进行排序
如果搜索相对特定，则为ed页。
那么，我们看到了什么？
我们发现，子页面和父页面的有机流量都增加了。我的观点是，当您将信用回馈给子页面时，父页面看起来更具权威性，因为它有许多子页面，这些子页面现在被回馈“信用”
所有这些页面的月流量加起来增长了五倍。
自今年9月以来，当我们修改了canonical标签时，该网站区域的每月有机流量是现在的5倍，754个页面驱动了有机流量，而去年早些时候的154个页面。
作者与Semrush的截图，2022年7月
不要犯这些规范化错误
- 设置在解析到最终页面之前经受重定向的规范标记可能会带来很大的危害。这将减慢搜索引擎的速度，因为它迫使它们试图理解内容的重要性，但现在它们正在跳转URL。
- 类似地，如果您将规范标记指向404-ing错误页面的URL目标，则实际上是将它们指向墙。
- 将规范标记到错误的页面版本（即www\/non-www、HTTP\/HTTPS）。我们讨论了通过网站爬行工具发现您可能存在无意的网站复制。不要错误地将页面重要性指向较弱的页面版本。
诺因德克斯？
您还可以使用meta robots noindex标记完全排除类似或重复的内容。
在源代码的开头部分放置noindex标记将阻止搜索引擎对这些页面进行索引。
注意：虽然meta robots noindex标签是从排名考虑中删除重复内容的快速方法，但如果您未能正确使用它，则可能会对您的有机流量造成危险。
该标签在过去曾被用于清除大型站点，以仅显示搜索关键站点页面，从而尽可能高效地进行站点爬网。
但是，您希望搜索引擎看到所有相关的站点内容，以了解站点分类法和页面层次结构。
然而，如果这个标签不会吓到你太多，你可以使用它让搜索引擎只抓取和索引你认为新鲜、独特的内容。
这里有几种方法可以将noindexing作为解决方案进行讨论：
示例1：为了帮助您的客户，您可以提供制造商的文档，即使他们已经在其网站上提供了该文档。
解决方案：继续提供文档以帮助您的现场客户，但不要索引这些页面。
它们已经由制造商拥有并索引，制造商可能比您拥有更多的域权限。换句话说，您不太可能成为该内容的排名网站。
例2：您提供几种不同但相似的产品。唯一的区别是颜色、大小、数量等。我们不想浪费时间。
解决方案：通过使用规范标记解决。长尾搜索可以驱动合格流量，因为给定的pag
e仍将被索引并能够排序。
例3：你有很多旧产品，你不再销售，不再是主要关注点。
解决方案：这种完美的场景可能在内容或销售审核中找到。如果这些产品对公司没有什么帮助，考虑退休。
考虑将这些页面规范地指向相关分类页面，或将其重定向到相关分类页面。这些页面有年龄\/信任，可能有链接，可能有排名。
用例：不要为了爬行花费考虑而牺牲排名\/流量
关于我们的网站，我们知道，我们希望为搜索引擎提供最好的服务。
我们不想在爬行时浪费他们的时间，也不想让他们觉得我们的大部分内容缺乏独特性。
在下面的示例中，为了减少搜索引擎评论中类似产品页面内容的膨胀，在域转换\/重新启动期间，将元机器人noindex标签放置在子产品变体页面上。
下图显示了从一个域转换到另一个域的关键字总量。
当删除元机器人noindex标签时，排名术语的总量增长了50%。
作者与Semrush的截图，2022年7月
不要让这些元机器人犯Noindex错误
- 不要在具有入站链接值的页面上放置meta robots noindex标记。如果是这样，您应该将有问题的页面永久重定向到另一个相关站点页面。放置标签将消除您拥有的宝贵链接权益。
- 如果您不索引包含在主、页脚或支持中的页面
ng导航，确保指令不是“noindex，nofollow”，而是“noindex，follow”这样搜索引擎在抓取网站时仍然可以通过noindex页面上的链接。
结论
有时很难与网站内容分开。
canonical和meta robots noindex标签是为所有用户保留网站功能的好方法，同时也指导搜索引擎。
最后，小心你如何标记！如果您不完全理解标记过程，则很容易失去搜索状态。
