网络爬的是什么虫（一）
我对爬虫的理解是，互联网是一张网，那么爬虫就是一只趴在这个网上的虫子，爬呀爬呀去找自己想找的东西，爬虫可以由多种语言来实现，其中Python用的较多。
从网页上抓取内容大致分3步：
1、模拟浏览器访问，获取html源代码 2、通过正则匹配，获取指定标签中的内容 3、将获取到的内容写到文件中
然后我跟着网络上的一些教程去写了一些实战，发现很有意思，比如每天爬一下自己所在地方的天气，尤其是24小时预报；比如爬一爬某网上MM的照片（滑稽脸~~~），我自己然后爬了一下百度，就是简单的把百度首页的
import requests
from bs4 import BeautifulSoup
import osheaders = {'User-Agent':"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 Safari/537.1"}
all_url = 'https://www.baidu.com/'
start_html = requests.get(all_url,headers=headers)
Soup = BeautifulSoup(start_html.text,'lxml')
link_list = Soup.find_all('link')
for lk in link_list:print(lk.get('href'))很有意思，后来我了解到网络爬虫可以有好多用途，比如，网络攻防，教务处成绩查询，绩点查询，一键评教神马的都可以，果然兴趣是最好的老师~~那么这第一篇文章就到这里
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！