Python爬虫——【3】requests简单实用之简易网页采集器
简易网页采集器
今天来做一个简单的网页采集器，即你输入想要查找的信息，让代码给你返回想要查找的信息对应的页面。
1. 理论知识
- UA: User-Agent(请求载体的身份标识)
- 反爬机制——UA检测: 门户网站的服务器会检测对应请求的载体身份标识，如果检测到请求的载体身份标识为某一款浏览器，说明该请求是一个正常的请求。但如果检测到请求的载体身份标识不是基于某一款浏览器的，则表示该请求为不正常请求(爬虫)，则服务器端很有可能拒绝该次请求。
- 反反爬策略——UA伪装: 让爬虫对应的请求载体身份标识伪装成某一款浏览器
那怎么获取我们浏览器的User-Agent呢?
举个例子，我用的是火狐浏览器:
- 用F12打开开发者工具
- 用浏览器随意发起一个搜索，比如我搜索华晨宇
- 点击网络(有些浏览器是Network)
- 随意选中一条请求，里面就有你浏览器的User-Agent
如图:
2. 实践出真知
其实加个UA伪装也只是公式里的一步而已，所以不要把UA伪装想得特别难
"""
TOPIC: 简易网页采集器
author: Blue
time: 2020-09-02
"""import requests
if __name__ == "__main__":# UA伪装: 将对应的User-Agent封装到一个字典中headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:80.0) Gecko/20100101 Firefox/80.0'}# step1: 指定urlurl = 'https://www.sogou.com/web?'# 为了使采集器可以动态采集——处理url所携带的参数: 封装到字典中keyword = input("请输入关键词: ")param = {'query': keyword}# step2: 对指定的url发起请求，对应的url是带参数的并且请求过程中处理了参数response = requests.get(url, params=param, headers=headers)# step3: 获取响应数据, text返回的是字符串形式的响应数据page_text = response.textfilename = "./html/" + keyword + '.html'with open(filename, 'w', encoding='utf-8') as fp:fp.write(page_text)print(filename, '保存成功！！')
这是未执行的代码，比如我比较喜欢华晨宇，所以我现在代码运行后，输入华晨宇三个字:
得到的网页是这样的:
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！