通过网站日志可以清楚的得知访客和服务端等应用是否正常运行，或者存在哪些缺陷，失效组件等信息。 对于专业从事搜索引擎优化工作者而言，网站日志可以记录各搜索引擎蜘蛛机器人爬行网站的详细情况，例如：哪个IP的百度蜘蛛机器人在哪天访问了网站多少次，访问了哪些页面，以及访问页面时返回的HTTP状态码
标签： 网站机器人日志蜘蛛 打印本页 || 关闭窗口
