Scrapy使用带用户名和密码身份验证的代理ip
1、在Middlewares.py中定义中间件：
#添加需要账号和密码身份验证的ip例子
import base64
class ProxyMiddleware(object):def process_request(self,request,spider):# 随机选出代理信息proxy = "xxx.xxx.xxx.xxx:port"# 设置代理的认证信息auth = base64.b64encode(bytes("USERNAME:PASSWORD", 'utf-8'))request.headers['Proxy-Authorization'] = b'Basic ' + auth# 设置代理ip (http/https)request.meta['proxy'] = 'http://' + proxy2、在settings.py中开启中间件：
DOWNLOADER_MIDDLEWARES = {'MySpider.middlewares.ProxyMiddleware': 200,
}3、启动scrapy即可看到效果。
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！