你对robots.txt知多少，它的效果有哪些？

　　新手SEO站长或许很少了解robots.txt文件，由于这个文件一般写好之后基本是不会再修正了的。当然，除非某天你不想蜘蛛抓取你的网站了，或许网站有私密文件制止揭露，这个时分就能够经过修正robots.txt文件的语法了，详细的语法这儿就不论述了。

　　尽管robots.txt在日常SEO工作中很少触碰，但它存在的含义却是十分大的。Robots的效果现已不在局限于网页的隐私了，还在于页面某些途径的整理，如删去死链十分管用。下面随尹华峰SEO技能博客来全面认清真实的robots.txt文件。

　　一、什么是robots.txt文件?

　　robots.txt它是一个文本的文件，是一种存放于网站根目录下的文本文件，它一般会告知查找引擎的抓取程序(又称网络爬虫或蜘蛛)，这个网站中有哪些内容不该该被查找引擎的抓取程序获取的，又有哪些是能够被抓取程序获取的。

　　robots.txt这个robots有必要是要小写的，这是跟网络蜘蛛树立的一个协议，网络蜘蛛来你的网站的时分榜首会去看的便是你网站根目录的robots.txt协议文件，它会依据你的规矩来进行抓取，可是有些傲娇的网络蜘蛛它不遵从规矩，一般网络蜘蛛都会会遵从的，要是你网站根目录没有这个文件的话网络蜘蛛就会沿着咱们网站上面的链接一个一个进行抓取。

　　二、robots.txt的效果有哪些?

　　(1)它能够引导查找引擎的蜘蛛抓取指定的栏目或许是内容。相当于你去一个生疏的城市，有人给你领路相同。

　　(2)当咱们网站改版或许是URL重写优化时屏蔽欠好的链接。不到万不得已千万不要进行网站改版，这个对网站损伤很大的，会引起降权或许是排名录入全掉。

　　(3)能够屏蔽死链接和404过错页面。跟着网站强大，死链接和404过错页面是在所难免的。

　　(4)屏蔽那些无内容和无价值的页面。

　　(5)屏蔽重复页面，比如说谈论页、查找成果页。

　　(6)屏蔽任何不想被录入的页面。

　　(7)引导蜘蛛来抓取网站地图。让蜘蛛更快速来爬取咱们网站的链接。

　　总结：由于robots.txt文件是网站跟蜘蛛的一个协议，蜘蛛来抓取网站时必定先(理论上)恪守协议。所以许多网站robots.txt文件就呈现了一种状况，那便是把网站地图sitemap放进去，如峰峰的博客也不破例哦，这样天然是为了招引蜘蛛快速抓取网站链接，便于录入。还有便是查询其他网站robots.txt文件时，可直接在域名后边加一个robots.txt即可一览无遗。