• robots.txt文件里直接包括sitemap文件

    分类： | 2009-07-11

     

     目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。这里基于一个假设，robots.txt已然是一个标准，所有的网站至少都有一个，而sitemap还正在建立标准中，这样...
    Tag：文件 直接 包括
    sln288 发表于20:32:30 | 阅读全文 | 评论 0 | 编辑 | 分享 0
共1页 1