昨天一天的日志文件,使用光年日志分析工具得出的结果。
/ad/qq7.gif 网页上的一个 QQ图标 抓取47089次
/phone.gif 是网页上的一个 电话图标 抓取15690次
::>_<:: 不知道百度蜘蛛是想和谁联系, 又加QQ 又打电话的。
这种情况 具体应该怎么处理比较好?
如果我在robots.txt 禁止的抓取 ,百度是否会停止抓取?
如果我禁止了抓取,会不会影响百度对站点整体的抓取次数?
这个问题,首先你得看下是不是真的百度蜘蛛抓取的你的图标。铅门厂家提供解答
如果蜘蛛抓取的东西没有用,你可以直接在robots里边禁止掉他
5万次?你确定你的能抓5万次? 知鸟云