购物网站建设,抓取量统计和指导

1、日志获取和下载

 ftp下载 （cdn里面也有日志）

2、分析日志

用日志分析工具进行分析

3、统计数据

建立一个表格，统计常规数据：爬虫访问次数、爬虫停留时间、抓取量、每个访问平均抓取次数、每个爬虫平均停留时间

其他数据可以不定期拆分进行获取数据。拆分方法以后会慢慢提到。

4、得出结论

收录量增加了是为什么？减少了是为什么？

网站不收录是为什么？学会分析，得出结果