爬取链家二手房信息

由于爬取到的数据是保存到MySQL数据库中，所以需先在MySQL中创建数据库和表

• 数据库创建

# 创建数据库
create database lianjiadb charset=utf8;

• 进入数据库

# 进入创建的数据库
use lianjiadb;

• 创建表

# 创建表
create table house(
house_area varchar(100) , 
house_info varchar(150), 
house_total_price int,
house_price varchar(50) 
)charset=utf8;

• 开始爬取

import random
import re
import requests
import pymysqlclass LianjiaSpider:def __init__(self):self.url = 'https://gz.lianjia.com/ershoufang/pg{}'self.ua_list = ['Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1','Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0','Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; InfoPath.3)']self.db = pymysql.connect('localhost', 'root', '123456', 'lianjiadb', charset='utf8')self.cursor = self.db.cursor()def get_page(self, page):'''获取相应页面'''url = self.url.format(page)# 随机从 self.ua_list 中获取一个对象，生成 User-Agent 防止反爬headers = {'User-Agent': random.choice(self.ua_list)}response = requests.get(url, headers=headers)response.encoding = 'utf-8'# print(response.url)# 获取响应后自动解析获取所需数据self.parse_page(response)def parse_page(self, response):'''用正则解析页面获取信息'''html = response.text# 分析页面编写正则表达式r = r'.*?data-el="region">(.*?) (.*?).*?class="totalPrice">(.*?).*?data-price=.*?>(.*?)'# 生成正则表达式对象pattern = re.compile(r, re.S)house_list = pattern.findall(html)#  [("滨江绿园", "| 2室1厅 | 62.17平米 | 东南 | 精装", "203", "单价32653元/平米"),(...)]print(type(house_list))# 自动执行写入数据库self.write_msg(house_list)def write_msg(self, house_list):'''将获取到的信息写入到数据库'''sql = 'insert into house values(%s, %s, %s, %s)'# 使用cursor.executemany()进行插入操作，提高效率self.cursor.executemany(sql, house_list)# 操作数据库后切勿忘记提交self.db.commit()def main(self):page = 1self.get_page(page)while True:ord = input("是否继续下一页(Y/N)：")if ord in ['N', 'n']:print("谢谢使用，再见！")breakelif ord in ['Y', 'y']:page += 1self.get_page(page)else:print("输入错误，请重新输入！")continue# 全部操作完成后，关闭游标,数据库self.cursor.close()self.db.close()if __name__ == '__main__':spider = LianjiaSpider()spider.main()

执行代码后进入数据库查询

# 进入mysql界面
mysql -uroot -p123456
# 进入到lianjiadb 数据库
use lianjiadb；
# 查询house表中的信息
select * from house；

结果如下：

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！