Python爬虫爬取豆瓣图书/豆瓣电影系列

DouBan Crawler Series

代码托管在Github -> DouBanCrawls

完成豆瓣读书/电影相关的爬取，豆瓣电影爬虫(DouBanMovie)使用了简单的多线程极大地提高了爬虫效率，可与原始版本的读书爬虫(DouBanReading)相比较，更多信息待加入补充。

豆瓣图书爬虫 [Python 3.6.1]

爬取结果在Result_Book文件夹，可直接查看

实现功能：

• 按标签名称进行相关图书信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按Tag存取在不同的Sheet
• 使用User Agent伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封

豆瓣页面截图：

运行时截图：

Excel结果截图：

豆瓣电影爬虫

爬取结果在Result_Movie文件夹，可直接查看

实现功能：

• 增加了简单的多线程，极大地提高了爬虫效率。
• 按标签名称进行相关电影信息的抓取，排序后存入本地excel，可自行进行进一步筛选，按Tag存取在不同的Sheet
• 使用User Agent伪装成不同的浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封

豆瓣页面截图：

运行时截图：

Excel结果截图：

欢迎 Star / PR.

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！