1.Robots是一个协议，搜索引擎可以不遵守该协议；Robots需要一定生效时间。

2.为什么要写robots?有些页面影响网站的相关性，浪费网站的资源。

3.怎么写robots?   

User-agent: 定义搜索引擎的类型

Disallow: 定义禁止搜索引擎收录的地址

Allow: 定义允许搜索引擎收录的地址    例：User-agent:  *（中间有空格）    屏蔽的应该是内页而不是目录页。该协议默认实现后，蜘蛛爬网站的其他页面。

4  应该屏蔽掉的页面:

(1)垃圾页面

( 2) 没有价值的页面

(3)你想屏蔽不想让搜索抓取的页面.

例如: Disallow: /A     Allow: /A/1   A:表示目录   1:表示页面

注:robots 是先充许后执行屏蔽的.而不论充许是放在前或后面

5 动态页面的屏蔽

例如:  要屏蔽下列链接

www.wins8899.com/forum.php?kjsnfn=modcp&action=member&op=ban

www.wins8899.com/forum.php?msdffs=modcp&action=member&op=ban

www.wins8899.com/forum.php?rtytry=modcp&action=member&op=ban

www.wins8899.com/forum.php?srfsrrre=modcp&action=member&op=ban

格式为:    Disallow: /forum.php?*

注: Disallow: /*?*   屏蔽所有动态页面

$:表示结束符     例如:Disallow: /forum.php$

注:$结束符一般用于jpg图片和文件夹   例如:  A         1.jpg         2. txt

此格式  Disallow: /A/*.jpg$   表示屏蔽到a文件夹下所以的jpg图片

6 robots 的作用

一 .可以屏蔽到网站的死链接

屏蔽网站的死链接。大量死链接影响用户体验，对蜘蛛来说浪费搜索引擎资源。大量的死链接会导至网站的降权.

二 . 重复页面和无内容页面

比如:注册页面,每个用户注册时内容是一样的,但路径不一样.这样的页面就称为重复页面和无内容页面

三.  多路径下的同一页面   比如: 一个动态的网站,访问时出现一个动态路径,但如果又同时伪静态,那伪静态的网址与动态路径是一样的

那么用robots 操作时可以屏蔽掉不参于排名的那个路径. 一般是屏蔽掉路径长的那种

四 . 不要给一个页面多个入口

  7  写robots 时要注意的事项

一  .要加  /  例如: Disallow: /A

二 .不要屏蔽掉目录  如果屏蔽到目录会导致权重流失.

返回网络营销列表页面