006w 发表于 2013-1-9 09:20:57

请教各位站长蜘蛛的使用方法 robots.txt

如题，使用bobots.txt 屏蔽以下页面

http://www.006w.com/index.php?soft/down-20-2.html

Disallow: /index.php?soft/down*


请问这个写法对吗？？

avatar2012 发表于 2013-1-9 12:13:04

Disallow: /index.php?soft/*

006w 发表于 2013-1-9 12:21:37

Disallow: /index.php?soft/*
avatar2012 发表于 2013-1-9 12:13 http://shuwo.org/images/common/back.gif


    avatar2012 好久不见了 网址发来我看看看看你现在的站怎么样了

avatar2012 发表于 2013-1-9 18:50:03

本帖最后由 avatar2012 于 2013-1-9 18:53 编辑

avatar2012 好久不见了 网址发来我看看看看你现在的站怎么样了
006w 发表于 2013-1-9 12:21 http://shuwo.org/images/common/back.gif

不吹自己网址了，我很少在这里发网址。。IP快上 1W了。目前流量撑不住了。上个月14.6G流量，纯文字博客。

昨天还老鼠加流量到25G，不过还是只能满足我博客需求

目前还在找我自己放论坛的空间。我在想是否还是把大流量引到5D6D这样免费论坛算了。

而且我又不懂VPS。真恼。

006w 发表于 2013-1-10 12:18:57

不吹自己网址了，我很少在这里发网址。。IP快上 1W了。目前流量撑不住了。上个月14.6G流量，纯文字博客 ...
avatar2012 发表于 2013-1-9 18:50 http://shuwo.org/images/common/back.gif


    兄弟，我真实佩服你，如果IP 上一万，一个月最少能进账几百呀，租下个老鼠的VPS 都没问题



http://www.006w.com/index.php?soft/view-23.html    这个页面我不屏蔽

http://www.006w.com/index.php?soft/down-23-2.html   屏蔽这个页面

怎么写代码呢 如果 屏蔽到/index.php?soft/那第一个页面也不收录了

avatar2012 发表于 2013-1-10 14:52:24

兄弟，我真实佩服你，如果IP 上一万，一个月最少能进账几百呀，租下个老鼠的VPS 都没问题



...
006w 发表于 2013-1-10 12:18 http://shuwo.org/images/common/back.gif

还以为你都屏蔽了。

就是以你那样些

有站长检测工具。可以检测这样屏蔽了



我自己不会VPS。。。。。。网上很多人信不过。我第一次买空间就是鼠窝的。

006w 发表于 2013-1-10 15:21:10

你墨迹下老鼠 就买 一年 250的那个 我看就很NB

kingscof 发表于 2013-1-14 09:46:55

不明觉厉啊
页: [1]
查看完整版本: 请教各位站长蜘蛛的使用方法 robots.txt