今天总结一下章丘做网站过程中遇到的一个问题，帮客户做好一个网站后提交了搜索引擎，就等着收录了，可是几天过去了还是没动静，很纳闷就进行了SEO查询，发现网站屏蔽了蜘蛛，可是我没留robots啊，仔细查看源码发现，在首页的源码中用了Meta标签屏蔽了蜘蛛。一时疏忽耽误了收录，现在把Meta标签的作用详细说一下：

Meta标签（元标记）是一个很有用的标签，它位于文档的head中，储存着网页的某些信息，最常见的就是description、keywords了，他们分别告诉搜索引擎，页面的描述和关键词是什么。用法如下： <meta name=”description” content=”最新SEO优化笔记” /> <meta name=”keywords” content=”佐尚羽，博客，SEO优化” /> 也有其他的一些，比如： <meta http-equiv=”Content-Type” content=”text/html; charset=gb2312″> 其作用是指定了当前文档所使用的字符编码为gb2312，也就是中文简体字符。根据这一行代码，浏览器就可以识别出这个网页应该用中文简体字符显示。类似地，如果 将 “gb2312”替换为“big5”，就是我们熟知的中文繁体字符了。 HTTP-EQUIV用于向浏览器提供一些说明信息，从而可以根据这些说明做出相应。HTTP-EQUIV其实并不仅仅只有说明网页的字符编码这一个作用，常用的HTTP-EQUIV类型还包括：网页到期时间、默认的脚本语言、默认的风格页语言、网页自动刷新时间等。 Meta标签中如何限制蜘蛛的爬行（抓取）？ 1.禁止搜索引擎抓取本页面。 为了让搜索引擎禁止抓取本页面，我们一般的做法是在页面的元标记中加入如下的代码： <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"> 在这里，META NAME="ROBOTS"是泛指所有的搜索引擎的，在这里我们也可以特指某个搜索引擎，例如META NAME="Googlebot(谷歌蜘蛛)"、META NAME="Baiduspider（百度蜘蛛）"等。content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的“,”分隔。 INDEX命令：告诉搜索引擎抓取这个页面 FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。 NOINDEX命令：告诉搜索引擎不允许抓取这个页面 NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。 根据以上的命令，我们就有了一下的四种组合 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW">：可以抓取本页，而且可以顺着本页继续索引别的链接 <META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">：不许抓取本页，但是可以顺着本页抓取索引别的链接 <META NAME="ROBOTS" CONTENT="INDEX,NOFOLLOW">：可以抓取本页，但是不许顺着本页抓取索引别的链接 <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">：不许抓取本页，也不许顺着本页抓取索引别的链接。 这里需要注意的是，不要把两个对立的反义词写到一起，例如 <META NAME="ROBOTS" CONTENT="INDEX,NOINDEX"> 此外对于多命令，这里有一个简便的写法， 如果是 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW"> 的形式的话，可以写成：<META NAME="ROBOTS" CONTENT="ALL"> 如果是 <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW"> 的形式的话，可以写成：<META NAME="ROBOTS" CONTENT="NONE"> 如果是对于单独的某个搜索引擎不允许建立快照，例如谷歌，我们就可以写成： <META NAME="Googlebot" CONTENT="INDEX,FOLLOW,noarchive"> 如果在元标记中不屑关于蜘蛛的命令，那么默认的命令即为如下 <META NAME="ROBOTS" CONTENT="INDEX,FOLLOW, archive"> 因此，如果我们对于这一部分把握不准的话，可以直接写上上面的这一行命令，或者是直接留空。 2.禁止搜索引擎建立快照。 <meta name="robots" content="noarchive"> 以上的一段代码限制了所有的搜索引擎建立你的网页快照。如果我们需要仅仅限制一个搜索引擎建立快照的话，就可以像如下这样去写 <meta name="Googlebot" content="noarchive"> 这样的标记是禁止搜索引擎为你的网站建立快照。 SEOer在搜索引擎优化中，基本网站PHP语言和蜘蛛原理是必须了解和掌握的。以后各位Seoer做友情链接或其他类型链接，可要注意咯。