码库记事本

码库记事本

“nofollow”和“robots”傻傻分不清楚?

小诸哥 0

nofollow”和“robots”作为seo常用的手法,很多人都傻傻分不清楚,他们的功能不是屏蔽和禁止一些页面和链接的抓取吗?“nofollow”和“robots”之间的区别还是挺大的,“nofollow”是屏蔽一些链接的抓取,而“robots”是屏蔽站内的一些页面。下面小编带着大家详细的了解一下它们之间的不同点。


一、“robots”应该放在哪里?


“robots”的“robots.txt”的简称,这个文件一般放置在网站的根目录里面,蜘蛛会根据这个文件来确定访问网站的范围。


二、“nofollow”的使用


“nofollow”是HTML页面中a标签的属性值。这个标签的意义是告诉搜索引擎"不要追踪此网页上的链接或不要追踪此特定链接"。“nofollow”是如何使用的呢?


1、将"nofollow"写在网页上的meta标签上,用来告诉搜索引擎不要抓取网页上的所有外部和包括内部链接。


2、将"nofollow"放在超链接中,告诉搜索引擎不要抓取特定的链接。内容


(1)除了rel='nofollow'还有两种链接属性形式,一种是rel='external',另一种是rel='externalnofollow'。这两种分别代表什么意思呢?又有何区别呢?


a、rel='external'


此属性的意思是告诉搜索引擎,这个链接不是本站链接,其实作用相当于target=‘_blank’。


b、rel='externalnofollow'


其实上面已经说过rel='nofollow'和rel='external'两种属性的所代表的意思了。这个属性基本上是相当于将两种属性结合起来,大致可以解释为“这个链接非本站链接,不要爬取也不要传递权重”。


三、“nofollow”和“robots”区别?


1、两种方法各有各的优势。


在实际优化工作之中,我们经常会遇到一个页面我们不想其被搜索引擎收录的情况,在这种情况下,用“robots”生成新的精致抓取的协议更加便捷,一劳永逸。因为你只要在“robots”中对该页面设置了屏蔽抓取以后,不管你的这个页面在网站中出现了多少次,都不会被爬虫抓取以及收录;而如果这种情况下使用“nofollow”标签来进行屏蔽的话,你会发现网站维护起来会异常麻烦,因为网站中的新页面难免有的石斛需要加上该链接,每加一次都要另外加一次“nofollow”标签,一旦有一次遗漏了,就很有可能会被搜索引擎给收录了。还有一种情况则相反,有一个页面我们希望它正常被收录获得排名,但是因为有的页面中关于此链接的重复链接太多了,会造成不好的影响,这时候就不适合用“robots”来屏蔽了,而是应该使用“nofollow”标签对部分重复链接进行屏蔽。


2、屏蔽的方式不同。


“nofollow”针对的是访问路径进行屏蔽,挡住百度蜘蛛等爬虫的去路,而“robots”如同一个平台,我们在这个平台上对网站中的部分页面进行登记过了,以后但凡遇到这个链接页面,你都不要再多事了。这里需要注意的是,“robots”只针对站内页面有效,不能屏蔽其他网站的链接,而“nofollow”没有这个限制,这也是“nofollow”和“robots”比较重要的一个区别。


3、“robots”除了可以屏蔽特定页面以外还有其他一些实用功能。


“robots”不仅可以屏蔽站内的页面还可以反方向屏蔽特定蜘蛛及其他网站爬虫程序的访问。比如有的时候,可能你的网站带宽较小,而在网站日志中看大某个没有用处的蜘蛛频繁性地访问你的网站,从而让服务器过于拥挤以至崩溃,这时就可以利用“robots”限制其访问权限。除了可以限制爬虫的访问权限以外,还可以在“robots”中载明sitemap地址,更有利于蜘蛛注意到sitemap并且快速抓取网站的新内容以及更新的页面。


通过““nofollow”和“robots”傻傻分不清楚?”这篇文章你是不是更加清楚的了解了“nofollow”和“robots”之间的不同呢?如果您还有什么疑问可以登录网址进行咨询了解。欢迎您的到来!

标签: nofollow robots 傻傻分 不清楚