【SEO】确保 url 唯一，避免重复页面的办法

发表于2017-01-29 4601次阅读

对于 SEO ，确保页面 url 的唯一性非常重要。在搜索引擎来眼里，一个 url 就代表一个页面，如果你有多个 url 指向同一个页面，搜索引擎也会把他它们当做不同的页面进行抓取，这不仅浪费的搜索引擎的爬虫资源，而且由于页面内容相同，搜索引擎会当做重复页面，在你的内部页面之间会产生竞争，即使搜索引擎把这几个 url 全部收录了，这个页面的排名也不会理想。

图片来源wikimedia.org

下面我们举例来说明：

对于页面 a.html，有多个 tab（选项卡），不同 tab 对应的内容的在 html 源码中全部都有，只是通过不同的 url 参数来控制 tab 的默认显示：

如图：

三个 tab 的 url 分别是：

http://www.example.com/a.html?tab=info
http://www.example.com/a.html?tab=about
http://www.example.com/a.html?tab=other

虽然这三个 url 都对应同一个页面，但对于搜索引擎来说，这属于三个页面，会重复抓取，即使收录了，也会造成你网站的有效量的降低，排名上不去。类似的情况还有很多，比如伪静态的网站，a.html 和 a.php 同样能访问，但有属于不同的 url ，在搜索引擎眼里就是重复页面。另外，对于域名也存在同样问题，www.example.com 和 example.com 是不同的域名，不要混淆。

解决办法如下

通过 `rel="canonical"` 指明首选链接

我们只保留 http://www.example.com/a.html 作为首选链接，将属性为 rel="canonical" 的 <link> 元素添加到这些网页的 <head> 部分，要使用绝对路径，如：

<link rel="canonical" href="http://www.example.com/a.html" />

Google 还支持通过 http 头信息方式来指定 canonical，以 php 代码举例：

<?php
    header('Link: <http://www.example.com/a.html>; rel="canonical"');
?>

使用 301 跳转

对于 a.php 和 a.html 或 www.example.com/a.html 和 example.com/a.html 都能访问的情况下，通过程序以 301 状态码跳转到 'www.example.com/a.html'，至于为什么使用 301 而不是 302，看 google 的官方说明，如下：

来自 Google 的官方说明“您最好从这些网址中挑选一个作为首选（规范）目标网址，并使用 301 重定向将来自其他网址的流量发送到您的首选网址。服务器端 301 重定向是确保将用户和搜索引擎定向到正确网页的最佳方式。301 状态代码表示某网页已永久迁移至新位置。”

对于 http 和 https 并存的情况下，同样也要使用 301 跳转，对于搜索引擎来说，哪怕 url 上一个字母都不一样，也视为不同的 url。另外，如果你的网站及支持 http 又支持 https，建议跳转到 https 的地址，使用 https 搜索引擎会认为你的网站对用户更安全，会有更高的排名，对于这一点，百度和 Google 官方都有明确的说明，可以参看《百度开放收录https站点公告》。

通过 robots.txt 协议文件进行屏蔽

比如你的网站只允许抓取静态或伪静态文件，则屏蔽所偶有动态脚本文件，例如：

Disallow: /*/*.php
Disallow: /*.php

使用 rel="nofollow".

业绩比较公认的说法，rel="nofollow"是用来避免分散页面权重，并不能有效屏蔽搜索引擎的抓取，对于已经声明为 nofollow 的链接，搜索引擎也会酌情抓取，出现这个问题的原因可能是国内搜索引擎对 nofollow 执行的并不严格。下面是 Google 的官方说明：

通常情况下，我们不会追踪这些链接。也就是说，Google不会传送这些链接中的PageRank或定位文字。从本质上说，使用nofollow会使我们放弃整个网络中相应的目标链接。不过，如果有未使用nofollow的其他网站链接指向这些目标网页，或目标网页的网址是通过站点地图提交给Google的，则这些目标网页可能仍会出现在我们的索引中。此外，值得注意的是，其他搜索引擎对nofollow的处理方式可能略有不同。

虽然 nofollow 不能严格屏蔽蜘蛛抓取，但可以降低链接的优先级，在一定程度上是可以缓解重复页面的抓取。

对于存在分页情况的列表页，如果分页太多，建议对非第一页的链接都加上 nofollow，避免分散太多权重，并切将非第一页的页面都用 canonical 元素指向第一页的地址。

使用 content="noindex" 禁止页面被索引

content="noindex" 可以禁止大多数搜索引擎屏不索引该 url 对应的页面，代码如：

<meta name="robots" content="noindex">

url 尽量简洁、参数要少

url 尽量简洁，越简洁，越不容易出现重复链接。参数要少，参数顺序也会影响 url 的重复性，比如这两个链接 www.example.com/detail.php?id=123&user_id=444 和 www.example.com/detail.php?user_id=444&id=123，虽然只是参数顺序不同，对于搜索引擎很可能会认为是两个不同的链接，所以最好还是通过伪静态化保证其顺序，以及唯一性，如 www.example.com/detail-123-444.html。

总结

只使用上面的一种方式未必有好效果，比如百度对 “canonical” 元素支持的就比较弱。所以，上面介绍的方案，能做到的尽量都做到。

扩展阅读：

出处：https://www.coderxing.com/seo-make-unique-url.html

本文为原创文章，采用署名-相同方式共享 3.0 中国大陆（CC BY-SA 3.0 CN））进行许可，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接。