Python爬虫 多进程爬取--以爬取PEXELS图片为例

第二次修改的地址---->爬虫实例:爬取PEXELS图片—解决异步加载问题
在前面的修改中,我们通过使用逆向工程成功解决了异步加载的问题.但同时还有一个问题:效率问题,受限于网速,假如使用单进程下载图片时下载的速度没有占满,而使用多个进程时下载速度能够占满的话,那么多进程爬虫在爬取图片就具有更高的爬取效率.
但是,一个更直接体现出多进程爬虫效率的测试是,我们只爬取图片的下载链接而不进行下载,这样就网速的影响就不会太大了.

Python的多线程和多进程

大家可能都听过一点就是:python的多线程在同一时刻只会有一条线程跑在CPU里面，其他线程都在睡觉。这是真的,至于问为什么的话百度即可.
但是多进程就不同了,Python提高运行效率的方法是多进程.同一时刻,只有一个进程会被CPU调度,这就是单进程爬虫,但是通过使用multiprocessing库,对于多核CPU,就可以轻松地转换为多进程爬虫并发执行多个爬虫,也就是一个核可以跑一个爬虫.

爬虫测试

import requests
import re
import time
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) ''AppleWebKit/537.36 (KHTML, like Gecko) ''Chrome/67.0.3396.79 Safari/537.36'
}
def pic_scratch(url):res = requests.get(url, headers)links = re.findall('', res.text)

if __name__ 

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！