今天遇到一个自称做了3年seo的人来公司面试，态度十分傲慢。在和他的交谈当中，提到了一个话题：robots.txt到底该不该做。在他看来robots.txt用处不大，他以前优化的电商网站都没写，而我想说的是：robots.txt文件是必须的。我不知道为什么做了3年seo的人会说robots.txt没什么大用处，还说没有其他外部链接蜘蛛就不会抓取到这些页面，没必要用robots.txt屏蔽。要是真的这样，为什么蜘蛛到了一个网站会首先看这个网站的robots.txt文件？robots.txt文件没有任何外部链接，仍能被蜘蛛爬取到？并且网站的源代码里面肯定会有css、js、网站后台、图片等链接那么这些文件都不用屏蔽？
OK，如果不写robots.txt也能做好seo，我承认，的确是，但是robots.txt做为seo入门的基础知识，是我们每个seoer应该注重的。seo做的就是细节，如果这个细节你不注意、那个细节也不注意，不注意的细节多了，你怎么能做好seo？
无论是百度也好、谷歌也好，他们的seo手册里都写到：
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
robots.txt的使用其实是seo的高级运用，在一些行业网站上尤为明显，行业网站页面过多，无用的页面也有很多，所以必须使用robots.txt屏蔽无用页面，提升蜘蛛的爬取效率，这是seo的高级策略。
所以，robots.txt文件确实是有用的，并不像有些人说的那么不重要，有些人虽然做了几年的seo，但是现在还想用以前的思路来做优化，显然是不可取的，搜索引擎的技术在飞速提升，zac说过，谷歌在几年前就能抓取js里面的链接了，并且能传递权重，你还认为js不能被搜索引擎识别吗？
搜索引擎的技术正在一步一步的完善，如果我们seo技术不能与时俱进，那就只能被淘汰！
来自：郑州朝阳顶尖seo培训学校：？ID=203
注：相关网站建设技巧阅读请移步到频道。
