scrapy爬取需要登录的网站(知乎)

法一:使用selenium

在middlewares.py中



import time
from scrapy import signals
from selenium import webdriver
from scrapy.http import HtmlResponse
import requestsclass LoginMiddle(object):
    def process_request(self,


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部