我的第一个爬虫日志

刚刚开始学习爬虫，很多东西不懂，还望前辈们多多指教。

我的第一篇爬虫是爬取图片，因为这个内容比较容易入手，所以先从这里开始，此处适用于仅有一页图片的百度贴吧网页或者说只能爬取第一页的图片。

总结流程：

1、导入相应的包

1）传送网址（多页在此不传送页码，新编函数循环传入新的页码）

2、构建函数

1）网址发送请求

2）服务器的响应

3）读取网址编码信息

3、编写正则表达式提取所需内容，括号内容具有唯一性

4、获取内容列表之后循环下载取出

import urllib
import urllib2
import re
#导入需要的包
url = 'http://tieba.baidu.com/p/4558355499'
def getpic(url):req = urllib2.Request(url)response = urllib2.urlopen(req)html = response.read().decode('utf-8')#注意正则需要括号表示分组，我们所需要的内容前后用括号隔开re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" size='jpg_url = re.findall(re_jpg,html)x = 0#从0开始命名for jpg in jpg_url:urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))x +=1print jpggetpic(url)

以下适用于多页图片的百度贴吧网页

import urllib
import urllib2
import re
import timestart_url = 'http://tieba.baidu.com/p/2037526228?pn='
def getpic(url):req = urllib2.Request(url)response = urllib2.urlopen(req)html = response.read().decode('utf-8')re_jpg = r'src="(http://imgsrc.baidu.com.+?\.jpg)" width='jpg_url = re.findall(re_jpg,html)for jpg in jpg_url:#urllib.urlretrieve(jpg,'J:/pydownload/{}.jpg'.format(x))urllib.urlretrieve(jpg,"J:/pydownload/%s.jpg"% jpg.split('/')[-1])print jpg
def get_all(pages):for i in range(1,pages):url = start_url + str(i)getpic(url)time.sleep(2)get_all(2)

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！