-
信息收集和网站地图绘制比编程更重要。
-
浏览器访问效率的最大值是爬虫效率的最低值。
-
永远不要使用selenium，尽量不要使用phantomjs
-
对于脾气暴躁、技术能力强的网站，要让爬虫变的友善
-
复杂爬虫不宜过度优化，越冗余，维护成本越低。
-
尽量使用api和手机端接口。
关键字：网页爬虫, 爬虫, selenium, phantomjs
复杂爬虫编写心得
信息收集和网站地图绘制比编程更重要。浏览器访问效率的最大值是爬虫效率的最低值。永远不要使用selenium，尽量不要使用phantomjs对于脾气暴躁、技术能力强的网站，要让爬虫变的友善复杂爬虫不宜过度优化，越冗余，维护成本越低。尽量使用api和手机端接口。关键字：网页爬虫, 爬虫, selenium, phantomjs
版权声明
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处。如若内容有涉嫌抄袭侵权/违法违规/事实不符，请点击 举报 进行投诉反馈！