Google又出新花样,Sitemaps(站点地图) https://www.google.com/webmasters/sitemaps 免费服务正在测试中。与以往不同的是,这次Google推出Sitemaps是打着Collaboration(协同工作)的旗帜。Sitemaps服务旨在使用Feed文件sitemap.xml通知Google的Crawler(爬虫)
网站上哪些文件需要索引、这些文件的最后修订时间、更改频度、文件位置、相对优先索引权,这些信息将帮助 Google Crawler建立索引范围和索引的行为习惯。原先传统的爬虫方式当然会继续工作下去,但是Google倡议
站长们利用Sitemaps技术与搜索引擎形成积极互动的协作关系,真正参与到搜索引擎的索引页面缓存的建立中来,改变爬虫机械式的重复工作模式,使搜索引擎能返回更准确有效的的结果,同时也可以有效地减少带宽的消耗以及服务器的压力,提高互联网的效率......
sitemap文件必须包含几个主要的描述性标记:
* changefreq — 文件更改频度,可以是always/hourly/daily/weekly/monthly/yearly/never中的任意一个值
* lastmod — 文件最后被修订的时间,必须是遵循ISO 8601规范的时间戳格式,比如2005-06-04或2005-06-04T02:20:30+08:00
* loc — 文件通用资源定位符
地址,呵呵,就是URL
网址,绝对
地址* priority — 相对于同一站点上其他文件的被索引的优先权,值域0.0~1.0,默认值是0.5
* url — 用来包围以上四个标记
* urlset — 用来包围以上五个标记
例如:
sitemap文件必须使用UTF-8编码,所有实体必须转换成字符,可以压缩成.gz格式以减小文件体积,节省带宽,但是文件未压缩体积不能大于 10MB(10,485,760字节),否则的话必须使用多个sitemap文件,而这些sitemap文件必须在sitemap_index.xml中通过loc标记分别指定sitemap文件来得到索引,但sitemap_index.xml不能索引超过1000个sitemap文件。
例如:
同时Google也准备了Sitemap Generator(地图生成器) 这个开源项目的Python脚本方便
站长们使用,脚本必须运行于Python 2.2以上环境,请访问安装使用介绍页面。更多内容也可以订阅Google Group上的Sitemaps论坛来获得。我刚才传了我的RSS上去试试它竟然也通过了,晕,难道没有校验程序么~~~
Google总是比我们smarter一点,而现在我们又要帮助Google的爬虫更smarter一点,我们是不是很那个什么的啊?!而近期真正实惠的是Google已经开通中文的“更多”,并且“大学搜索”也已经本地化,可以查询中国的大学了。