三，robots及sitemap

robots.txt 这个文件一般存放在网站根目录下。如果大家使用一些CMS系统或者博客系统的话，都是可以看到这个文件的。

这里面存放的是一些规则代码。用来告诉搜索引擎。我网站的什么内容是你可以看的，什么内容是你不可以看的。

如果是使用大众的CMS系统一般都没什么问题。但是如果使用的是一个冷门的CMS或者一些个人开发的网站系统。最好是自己检查一下这个文件。看看有没有限制搜索引擎访问之类的。否则到时候明明是你不让蜘蛛进家门，结果还一直怪人家不收录。

sitemap，网站地图。

一般有两种，一种是给用户看的。一种是给搜索引擎看的。不过其实给用户看的搜索引擎也顺便看一下了。

这个是淘宝的网站地图。给用户看的。一目了然网站结构及栏目划分。

.***.com/Sitemap.xml 这是我博客的网站地图。给搜索引擎看的。主要就是告诉他我的网站有多少链接，链接网址是多少。也可以做成HTML的。

差不多就这些了，欢迎大家一起交流学习。本文来源：无语博客(www.wuyublog.com )，转载请注明。谢谢