爬取豆瓣读书的书籍（一）

环境准备：
Python3
PyCharm 2018.3.4 x64
Google Chrome浏览器

爬取豆瓣读书书籍的基本步骤

1、在pycharm中导入urllib模块的request；
2、获取豆瓣读书网的url信息和User-Agent;
3、用urlopen打开网址并发送请求；
4、用urlretrieve来保存我们打开的网页信息。

爬取豆瓣首页信息
from urllib import request
#获取豆瓣读书的网址
url = 'https://book.douban.com/'
#获取豆瓣读书网的代理用户信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36'
}
#打开网址并发送请求
rq = request.Request(url,headers=headers)
res = request.urlopen(rq)
resp=request.urlretrieve(url,'')
print(res.read().decode('utf-8'))  #解码

谢谢！

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！