网站地图看起来是一项比较复杂的事情，但实际上也很简单，为什么这么说呢？但从爬虫的角度来看，就是一推链接，但从用户的角度来看，就是一推文字，所以这里我们要必要区分一些网站地图的格式，另外对于搜索引擎来讲，规范的sitemap结构有助于快速处理这些链接，特别是一些每天更新上百篇的采集站，这个就有必要用到了sitemap了。
 

网站地图格式分类

 

1）xml格式

 
xml是什么，这里大家不需要深究，这是一门语言，就是xml，英文名称为EXtensible Markup Language，也叫可扩展标记语言，其作用是传输数据，而非现实数据，所以这个东西不适合用户来看，只是给搜索引擎看的。
 
xml类型语法格式比较严格，这里先不讲，下面我们详细讲。
 

2）txt文本格式

 
文本格式就是我们的记事本，这种是最方便的，直接把链接复制进去就可以，当然有免费的抓取工具，后面的文章中我们会讲到，这种也是有严格要求的，虽然只是复制链接到文本里面去，但格式也要正确。
 
根据目前各大搜索引擎的规范要求，txt文本格式每行只能放一个链接，注意只能是本网站的链接，如果包含了其它网站的链接，是不生效的，通常不能写漏了http协议，保持完整的网址，每个文本的链接最多包含5万个网址，如果确实链接比较多，可以进行分割成多个文本文件。
 
另外，还需要需改txt的编码格式，普通记事本的默认格式是ANSI编码，我们需要手动修改为utf-8，或者gbk编码都可以。
 

3）html格式

 
这种通常是给用户看的，当然这种适合做聚合页，爬虫程序爬行的频率往往会比较高，通常会收录该页面，因此，可以适当的做得精美一些，至少看起来实用性强，通常做提交，目前各大搜索引擎也不支持这种格式提交。
 

4）RSS或rdf

 
RSS是一种技术，定义上称为简易信息聚合，英文名称Really Simple Syndication，这种技术是1997 年发明出来的，2003 年RSS 2.0 规范发布，到今天仍是这个版本，这个和Atom 是一样的东西，通常在文章更新比较大的站点会出现，而一般的博客有些会设置，但基本不多，一般你也见不到，rss可以自动更新最新的文章动态。


 
rss正常订阅需要下载一个阅读器，通常会有相应的阅读器，前提是自己把rss制作好，其格式和xml差不多，但是语法有些不一样，在后面的文章中会讲一下，虽然rss已经成为过去式，但从目前的大型网站来看，依然还是存在的。
 
内容太多，就讲到这里，后面我们将会详细讲解网站地图的语法规则及相关注意事项。
 

---