如何查看百度蜘蛛什么时候来过网站?如何了解网络蜘蛛爬行网站的情况?

时间:2018/7/17 14:15:49  作者:Mho  来源:守望幸福  查看:56447  评论:0
内容摘要:如何查看百度蜘蛛什么时候来过网站?如何了解网络蜘蛛爬行网站的情况?每个网站在WEB服务器上运行都产生LOG日志文件;
如何查看百度蜘蛛什么时候来过网站?如何了解网络蜘蛛爬行网站的情况?

1、每个网站在WEB服务器上运行都产生LOG日志文件;
2、通过查看LOG日志即可看到百度蜘蛛什么时候去过网站,看了哪些页面,读取过什么文件,包括CSS、网页、图片、JS等文件格式;
3、LOG文件获取方式,如果有服务器可以直接登录查看,打开IIS-网站-日志 ,双击“日志”文件图标,查看日志文件存放的路径-日志文件名(xxxxx.log);

如何查看百度蜘蛛什么时候来过网站?如何了解网络蜘蛛爬行网站的情况?



如何查看百度蜘蛛什么时候来过网站?如何了解网络蜘蛛爬行网站的情况?


4、虚拟主机获取LOG日志文件,通过FTP连接后一般会有LOG文件夹,打开后便能获取;
5、找到LOG文件后,30兆以下的以记事本方式打开即可查看每行代码。大于30兆的文件以其他辅助软件进行打开,比如editplus等。
6、看到日志记录中有【120.122.38.118 - - [11/Nov/2015:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)】这种记录的,这就说明百度蜘蛛来过网站被LOG文件记录下来了


相关评论

图库精选