数据采集实战
第1关：单网页爬取
任务描述
相关知识
为了完成本关任务，需要具备几个基本的技能。首先需要对 Python 语言具有一定的掌握。了解其中的 Urllib 库， Re 库， Random 库。其中，Urllib 库主要实现对网页的爬取。Re 库实现数据的正则化表达。Random 库实现数据的随机生成。
网络爬虫是一种按照一定规则自动抓取互联网信息的程序或者脚本。爬虫的行为过程可以划分为三个部分：
载入；
解析；
存储。
import urllib.request
import csv
import re
# ********** Begin ********** #
data=urllib.request.urlopen("http://www.jd.com").read().decode("utf-8","ignore")
#打开京东，读取并爬到内存中，解码, 并赋值给data
urllib.request.urlretrieve("http://www.jd.com",filename="./step1/京东.html")
#打开京东，读取保存到本地
# ********** End ********** #
# ********** Begin ********** #
#正则表达式（Regular Expression）
pattern="(.*?) "
#re.compile()指编译正则表达式
#re.S是模式修正符，网页信息往往包含多行内容，re.S可以消除多行影响
title=set(re.compile(pattern,re.S).findall(data))
#保存数据到csv文件中
w本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！