爬虫之代理池学习（二）
接上一篇：爬虫之代理池学习（一）
7、实现数据库模块
- 作用：用于对Proxies集合进行数据库的相关操作
- 目标: 实现对数据库增删改查相关操作
- 步骤:
- 1、在init中, 建立数据连接, 获取要操作的集合, 在 del 方法中关闭数据库连接
- 2、提供基础的增删改查功能
- 实现插入功能
- 实现修改该功能
- 实现删除代理: 根据代理的IP删除代理
- 查询所有代理IP的功能
- 3、提供代理API模块使用的功能
- 实现查询功能: 根据条件进行查询, 可以指定查询数量, 先分数降序, 速度升序排, 保证优质的代理IP在上面.
- 实现根据协议类型 和 要访问网站的域名, 获取代理IP列表
- 实现根据协议类型 和 要访问网站的域名, 随机获取一个代理IP
- 实现把指定域名添加到指定IP的disable_domain列表中.
在这里插入代码片
8、实现代理IP爬虫模块
在这里插入代码片
9、实现代理IP检测模块
在这里插入代码片
10、实现代理IP检测模块
在这里插入代码片
11、实现代理IP池启动入口
在这里插入代码片
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！