制作一个简易爬虫
第一段代码·
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
url = 'https://so.gushiwen.cn/mingjus/'
response = requests.get(url, headers=headers)
# 发送HTTP GET请求获取页面内容response = requests.get(url)# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')# 查找具有class为"sons"的标签
tags = soup.find_all(class_="sons")# 提取标签中的文字，删掉符号text = '\n'.join([tag.text.strip() for tag in tags])
def content():with open('a.txt', 'w',encoding='utf-8') as file:file.writelines(text)content()
# 将文本内容写入txt文件
def remove_content_after_keyword(file_path, keyword):# 读取文本文件内容with open(file_path, 'r',encoding='utf-8') as file:lines = file.read()# 查找关键字并删除之后的内容result = lines.rsplit('》', 1)[0]print(result)# 将处理后的内容写入文件with open(file_path, 'w',encoding='utf-8') as file:file.writelines(result)# 调用函数，传入文件路径和关键字
remove_content_after_keyword('a.txt', '》')
思路大致为获取页面，BeautifulSoup解析，提取文字，生成文本文档，提炼主要内容。得到以下
念往昔，繁华竞逐，叹门外楼头，悲恨相续。
——王安石《桂枝香·登临送目》
黑发不知勤学早，转眼便是白头翁。
——《增广贤文·上集》
本富为上，末富次之，奸富最下。
——《史记·七十列传·货殖列传》
柳外画楼独上，凭栏手捻花枝，放花无语对斜晖，此恨谁知？
——秦观《画堂春·落红铺径水平池》
百二关河草不横，十年戎马暗秦京。
——元好问《岐阳三首》
不戚戚于贫贱，不汲汲于富贵。
——陶渊明《五柳先生传》
......声明：诗文取自古诗文网https://so.gushiwen.cn/
这里是第二段
import requests
from bs4 import BeautifulSoup
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
}
url = 'https://www.zhihu.com/tardis/zm/art/336543801'
response = requests.get(url, headers=headers)
# 发送HTTP GET请求获取页面内容response = requests.get(url)# 解析HTML内容
soup = BeautifulSoup(response.text, 'html.parser')# 查找p标签
tags = soup.find_all('p')text = '\n'.join([tag.text.strip() for tag in tags])
#在修改后的代码中，使用列表推导式遍历标签列表，并提取每个标签的文字（使用tag.text.strip()）。然后，使用join方法将提取的文字列表连接成一个字符串，每个文字之间用换行符分隔。#这样，就可以将提取的文字存储在text变量中，并且不再需要使用循环来逐个添加文字。# 将文本内容写入txt文件
def remove_content_after_keyword():with open('a.txt', 'w',encoding='utf-8') as file:file.writelines(text)remove_content_after_keyword()
#调佣解析后通过提取标签p内的文字得到文章内容
将得到
......
必修一
1. 细胞学说的建立和发展过程 p11
维萨里 - 解剖尸体，发表《人体构造》，揭示了人体在器官水平的结构
比夏 - 指出器官由低一层次的结构——组织构成
（罗伯特）虎克- 细胞的发现者和命名者。他观察到植物的木栓组织由许多规则的小室组成， 并把“小室”称为cell——细胞
列文虎克 - 用显微镜进行观察，对红细胞和动物精子进行了精确的描述
施莱登和施旺 - 提出了细胞学说，指出细胞是一切动植物结构的基本单位。
魏尔肖 - 在前人研究成果的基础上，总结出“细胞通过分裂产生新细胞” 、“所有细胞都来源于先前存在的细胞”。（而非“新细胞可以从老细胞中产生”）
附：细胞学说内容
a) 细胞是一个有机体，一切动植物都由细胞发育而来，并由细胞和细胞产物所构成
b) 细胞是一个相对独立的单位，既有它自己的生命，又对其他细胞共同组成的整体的生命起作用
c) 新细胞可以从老细胞中产生
P12 文森特 - 通过破坏基因的方法研究基因的作用
......文章内容著作权归作者青歆所有，取自知乎高中生物所有科学家都在这里啦 (zhihu.com)
写在最后:本章完
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！