Robots.txt与Meta-Robots标签
该文件是一个由逗号离隔的术语列表：
宁波seo认为ALL,NONE,INDEX,NOINDEX,FOLLOW,NOFOLLOW,
留意，这个标签是为那些无法在他们的网站中操控《>b0ts.txt文件的用户运用的t它为搜索效劳爬取他们的内容设置了终究一道门槛。它没有增加新的语法规贝ij,也没有在元标签中界说特定机器人的权限设置。INDEX表明期待机器人把此页的内容收纳进搜索效劳傍边e
FOLLOW表明机器人能够从这个页面的连接进入到另一个页面傍边。取值为NOFOLLOW的话，表明这页的内容答应被索引，可是不能从这页的连接扩展到别的页面中去(这对作为别的付费阅读内容页面的进口节点页面的设置，十分有用)?NONE的取值则通知机器人疏忽这个页面
INDEX和FOLLOW的标签取值应当增加到每个页面傍边，除非你有特殊原因不想某些页面被索引，例如那些临时性的页面。
本文由乐华网络编辑，转载请注明出处
宁波seo www.leseo.net
