斗鱼爬虫以及服务器部署

以下内容仅限于学习使用

文章目录

• 用到的工具
• 爬了什么
• 如何部署

用到的工具

• selenium
• python
• docker 用来部署在云端服务器上
• xpath 用来定位元素

爬了什么

主要爬了直播房间的名字、热度、作者、分类。
主要思路就是使用selenium直接爬

import time
import loggingfrom selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities# LOG_FORMAT = "%(asctime)s - %(levelname)s - %(message)s"
# logging.basicConfig(filename='scrapy.log', level=logging.DEBUG,
#                     format=LOG_FORMAT)with webdriver.Remote("http://127.0.0.1:4444/wd/hub",DesiredCapabilities.CHROME) as driver:url = 'https://www.douyu.com/directory/all'driver

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！