源码论坛,商业源码下载,尽在锦尚中国商业源码论坛

标题: 支招：如何屏蔽百度谷歌蜘蛛？ [打印本页]

作者: zhaorf 时间: 2011-1-9 14:18
标题: 支招：如何屏蔽百度谷歌蜘蛛？
做SEO我们经常碰到这样的问题，很多客户在做好排名以后或者提供好优质服务以后，他们并没有想象中的那种电话量不断的效果，于是就碰到拒绝付款的客户。或者是，由于我们网站的文章权威性，为了保证我们的原创和权威性，不易被搜索引擎检索。那么我们就需要使用到一种常见的方式：屏蔽百度谷歌等搜索引擎蜘蛛。

方法一、创建robots.txt文本

对于robots.txt文本的相关概念或者是协议我就不提了，主要是直接告诉大家这个文件的写法。

文件应该同时包含2个域，“User-agent:”和“Disallow:”，每条指令独立一行。

(1)User-agent:

指定允许哪些蜘蛛抓取，如果给出参数，则只有指定的蜘蛛能够抓取；如值为通配符“*”号，代表允许所有蜘蛛抓取。如：

User-agent: Googlebot

只允许Google的蜘蛛抓取；

User-agent: *

允许所有蜘蛛抓取。

注意：User-agent必须出现在第一行（有意义的行，注释除外），首先声明用户代理。

(2)Disallow:

指定禁止蜘蛛抓取的目录或文件，如：

Disallow: /help.php

禁止抓取根目录下help.php文件；

Disallow: /admin/

禁止抓取根目录下的admin子目录中任何内容；

Disallow:

值为空时，表示不限制，蜘蛛可以抓取站内任何内容。

Disallow: /

禁止了蜘蛛抓取根目录下的所有内容。

如果需要指定多个目录或文件，可以用多个“Disallow: 文件或目录名”来指定，但必须每一项单独一行。

示例：

禁止百度蜘蛛：

User-agent: baiduspider
Disallow: /

禁止谷歌蜘蛛：

User-agent: Googlebot
Disallow: /

禁止所有蜘蛛：

User-agent: *

Disallow: /

方法二、robots Meta标签

robots.txt是放在网站中，文件级的网络蜘蛛授权；而robots Meta标签是放在网页中，一般用于部分网页需要单独设置的情况下。两者的功能是一样的。

Meta robots标签必须放在<head>和</head>之间，格式：

<meta name=”robots” content=”index,follow” />

content中的值决定允许抓取的类型，必须同时包含两个值：是否允许索引（index）和是否跟踪链接（follow，也可以理解为是否允许沿着网页中的超级链接继续抓取）。共有4个参数可选，组成4个组合：

index,follow：允许抓取本页，允许跟踪链接。
index,nofollow：允许抓取本页，但禁止跟踪链接。
noindex,follow：禁止抓取本页，但允许跟踪链接。
noindex,nofllow：禁止抓取本页，同时禁止跟踪本页中的链接。
以上1和4还有另一种写法：

index,follow可以写成all，如：

<meta name=”robots” content=”all” />

noindex,nofollow可以写成none，如：

<meta name=”robots” content=”none” />

需要注意的是，robots Meta标签很多搜索引擎是不支持的，只有少数搜索引擎能够识别并按给定的值抓取。所以，尽可能的使用robots.txt文件来限制抓取。

作者: hungchia 时间: 2011-7-20 18:36
桐乡外卖网 http://www.txwaimai.com
嘉兴外卖网 http://www.jxwaimai.com
嘉兴交友网 http://www.jxyuan.com
绵阳房产网 http://www.myfcw.cn
禾城主机 http://www.cn0573.net
嘉兴QQ群 http://qqun.cn0573.net
桐乡做网站 http://im.cn0573.net

作者: hungchia 时间: 2011-7-21 23:32
桐乡外卖网 http://www.txwaimai.com
嘉兴外卖网 http://www.jxwaimai.com
嘉兴交友网 http://www.jxyuan.com
绵阳房产网 http://www.myfcw.cn
禾城主机 http://www.cn0573.net
嘉兴QQ群 http://qqun.cn0573.net
桐乡做网站 http://im.cn0573.net

欢迎光临源码论坛,商业源码下载,尽在锦尚中国商业源码论坛 (https://bbs.52jscn.com/)