设为首页收藏本站

鼠窝站长论坛

 找回密码
 注册
鼠窝站长论坛»论坛 › 综合讨论区 › 建站综合交流区 › 空间流量不够用的同学们 屏蔽下这个蜘蛛
12下一页
返回列表 发新帖
查看: 6706|回复: 11

[已解决] 空间流量不够用的同学们 屏蔽下这个蜘蛛

[复制链接]
发表于 2011-11-2 10:00:43 | 显示全部楼层 |阅读模式
本帖最后由 len4090 于 2011-11-2 10:02 编辑

robots.txt里面加入
  1. user-agent: AhrefsBot
  2. disallow: /
复制代码
上个月流量被它 浪费完了  不知道 这个蜘蛛爬我的站干什么 为题是 他是什么蜘蛛也不知道 我是冲AP日记里  查到这个IP的蜘蛛  爬了我的站 也不知道他收录啥东西！反正没用 屏蔽它先   我们个靠百度和google 其他蜘蛛不需要 呵呵
回复

使用道具 举报

 楼主| 发表于 2011-11-2 10:03:54 | 显示全部楼层
什么是AhrefsBot？
AhrefsBot是ahrefs.com的一条网络爬虫，通过抓取网页建立索引库，并提供反向链接分析和服务。AhrefsBot FAQS1、如何禁止AhrefsBot?

AhrefsBot遵守网络规范，如要禁止AhrefsBot，最快捷的方法是打开您的robots.txt，添加如下两行：

user-agent: AhrefsBot

disallow: /

这样，AhrefsBot就不会再抓取您网站的任何内容了。

2、什么是反向链接？

反向链接是和常规链接相比较而言的。常规链接在源文档内部进行声明和显示，而反向链接则在目标文档内部进行声明。换言之，常规链接在文档 A 中标明“指向文档 B”，而反向链接则在文档 B 中要求“使文档 A 指向我”，那么对于文档B来说，在文档A中的链接就是文档B的反向链接。
回复 支持 反对

使用道具 举报

xjcx
发表于 2011-11-2 12:04:11 | 显示全部楼层
那就是说，只要不想AhrefsBot抓取的，都可以屏蔽，感谢分享
回复 支持 反对

使用道具 举报

 楼主| 发表于 2011-11-2 13:11:32 | 显示全部楼层
回复 3# xjcx


    是的  我屏幕后 流量基本没怎么增加了  没屏蔽前一天就好多了  现在 我才用掉5.4MB的流量 2天了
回复 支持 反对

使用道具 举报

xjcx
发表于 2011-11-2 22:11:27 | 显示全部楼层
感谢提醒分享，收藏了。
如果我想把百度、谷歌也屏蔽了，怎么处理啊？
回复 支持 反对

使用道具 举报

 楼主| 发表于 2011-11-3 07:20:08 | 显示全部楼层
回复 5# xjcx


    user-agent: *

disallow: /
回复 支持 反对

使用道具 举报

 楼主| 发表于 2011-11-3 16:18:38 | 显示全部楼层
今天用这个 禁止 shougou soso youdao等蜘蛛 在看看效果看

.htaccess
  1. Order Deny,Allow
  2. Deny from 46.165.197.141
  3. deny from 220.181.94
  4. deny from 220.181.125
  5. deny from 220.181.0
  6. deny from 124.115.0
  7. deny from 124.115.4
  8. deny from 220.181.94.237
  9. deny from 123.126.50.69
  10. deny from 123.126.50.74
  11. deny from 61.135.249.67
  12. deny from 61.135.248.213
  13. deny from 124.115.0.160
  14. deny from 61.135.249.219
  15. deny from 220.181.125.69
  16. deny from 61.135.249.87
  17. deny from 61.135.249.85
复制代码
回复 支持 反对

使用道具 举报

xjcx
发表于 2011-11-3 22:36:18 | 显示全部楼层
呵呵，我的小站，不需要收录，向你学习啊
回复 支持 反对

使用道具 举报

 楼主| 发表于 2011-11-7 12:06:25 | 显示全部楼层
.htaccess
再更新  yahu也屏蔽
  1. Order Deny,Allow
  2. deny from 222.73.44.5
  3. deny from 222.73.44.102
  4. deny from 46.165.197.141
  5. deny from 61.135.249.85
  6. deny from 61.135.249.87
  7. deny from 220.181.125.69
  8. deny from 61.135.249.219
  9. deny from 124.115.0.160
  10. deny from 61.135.248.213
  11. deny from 61.135.249.67
  12. deny from 123.126.50.74
  13. deny from 123.126.50.69
  14. deny from 220.181.94.237
  15. deny from 124.115.4.1/32
  16. deny from 124.115.4.2/31
  17. deny from 124.115.4.4/30
  18. deny from 124.115.4.8/29
  19. deny from 124.115.4.16/28
  20. deny from 124.115.4.32/27
  21. deny from 124.115.4.64/26
  22. deny from 124.115.4.128/25
  23. deny from 124.115.0.1/32
  24. deny from 124.115.0.2/31
  25. deny from 124.115.0.4/30
  26. deny from 124.115.0.8/29
  27. deny from 124.115.0.16/28
  28. deny from 124.115.0.32/27
  29. deny from 124.115.0.64/26
  30. deny from 124.115.0.128/25
  31. Deny from 46.165.197.141
  32. deny from 220.181.94
  33. deny from 220.181.125
  34. deny from 220.181.0
  35. deny from 124.115.0
  36. deny from 124.115.4
  37. deny from 220.181.94.237
  38. deny from 123.126.50.69
  39. deny from 123.126.50.74
  40. deny from 61.135.249.67
  41. deny from 61.135.248.213
  42. deny from 124.115.0.160
  43. deny from 61.135.249.219
  44. deny from 220.181.125.69
  45. deny from 61.135.249.87
  46. deny from 61.135.249.85
  47. deny from 110.75.174
  48. deny from 110.75.171
  49. deny from 110.75.173
  50. deny from 110.75.176
复制代码
回复 支持 反对

使用道具 举报

发表于 2011-11-7 20:44:39 | 显示全部楼层
soso\yahu 这些没必要屏蔽吧~~~
回复 支持 反对

使用道具 举报

下一页 »
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

QQ|小黑屋|手机版|Archiver|鼠窝站长论坛

GMT+8, 2024-5-19 15:51 , Processed in 0.046774 second(s), 16 queries .

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表