scrapy分布式
（1）什么是分布式？
将一个任务分割成多份，每一份由一个计算机完成，最后所有的计算机能够成为一个整体，得到这个任务的结果。
分布式数据库：
产生的原因：
原来一个数据库都是放在一台电脑上的，但是由于用户量的增多，造成数据库压力很大，所以产生一个思想，就是用多台电脑可以提供同样的数据库服务。
（2）scrapy分布式：
原来的项目是部署在一台电脑上的，这样爬取速度虽然很快，但是我们还能提升，联想到分布式的思想，我们是否可以通过多台电脑进行配合爬取，这样我们的爬取速度就能大幅度提升。
分布式爬虫就是：【多台电脑爬取同一个项目】。
（3）scrapy和scrapy-redis的区别：
（1）scrapy是一个爬虫框架，但是他不支持分布式。
（2）scrapy-redis，通过scrapy上增加一个redis组件，这个redis里面设置了带爬取url的列表和每个url的指纹集合，通过这两，做到了分布式，使得多台电脑可以联合爬取一个任务。
（4）分布式部署的步骤：
1）导入
from scrapy_redis.spider import RedisSpider
更改类的继承，让s
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！