python爬虫笔记：微信自发机器人1之获取网页信息

前言

想建一个微信群平时发发淘宝优惠券的商品，当个副业，但是发现经常要自己查看商品，发送链接，实在是太费时间精力（主要就是比较懒），于是萌生了做个脚本，实现自动获取网址商品信息，定时自动发送到群里。

浏览网页信息

首先浏览器打开网页：http://soa.s8bqi.cn/Newcms/html/realtime.html?mi=%E5%B0%8F%E7%BE%8E%E5%A5%BD
按F12查看，因为最终都是在手机端打开的，所以先点击F12出现界面左上角的这个键然后选择network， XHR

运气比较好，直接在图中选中的ssbdlist?id=0找到了当前所有的商品list。
那直接爬取这个网址就可以了，http://mgi.sitezt.cn/api/i/cmsitem/ssbdlist?id=0
验证下是不是包含了商品信息，用浏览器打开试试，如图商品的信息都用json格式很工整的列出来了。

爬取商品list

调用requests得到所有信息，当然我们只需要一部分就够了，
ItemId用来索引商品，ItemTitle商品名称，ItemImage商品图片，
Recommend商品简介

url = 'http://mgi.sitezt.cn/api/i/cmsitem/ssbdlist?id=0'
req=requests.get(url)
data=json.loads(req.content)

先根据关键字简单过滤部分商品，比如水果，然后通过多个商品链接的点击发现，具体的商品详情链接的组合方式，
http://soa.s8bqi.cn/Newcms/html/mobile/goodsDetail.html?pre=realtime&id=（商品ItemId）&mi=%E5%B0%8F%E7%BE%8E%E5%A5%BD

找到商品detail信息

然后发现在这个网页F12–>network–> XHR，还是同样的套路，得到了当前商品的具体信息
http://mgi.sitezt.cn/api/i/cmsitem/getcmsitemdetail?id=613699257749

for goods in data:if '水果' in goods['ItemTitle']:source_url = 'http://soa.s8bqi.cn/Newcms/html/mobile/goodsDetail.html?pre=realtime&id='+str(goods['ItemId'])+'&mi=%E5%B0%8F%E7%BE%8E%E5%A5%BD'goods_info = {}uu = 'http://mgi.sitezt.cn/api/i/cmsitem/getcmsitemdetail?id=%s'%str(goods['ItemId'])goods_info['TaoBaoTitle'], goods_info['Recommend'] = get_TaoBaoTitle(uu)

模拟点击得到淘口令

为了在手机微信端打开商品网页的体验更好，所以选择了复制淘口令的方式，但是这就有个问题，在网页你不点击，是无法出现对应的内容的，所以选择selenium + chromedriver 模拟点击事件，代码如下

def get_loulin(url):mobile_emulation = {"deviceName":"iPhone 6"}chrome_option = webdriver.ChromeOptions()chrome_option.add_argument('headless')chrome_option.add_experimental_option("mobileEmulation", mobile_emulation)chrome_path = 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe'driver = webdriver.Chrome(executable_path=chrome_path, options=chrome_option)driver.get(url)driver.find_element_by_css_selector('div.koulin-buy').click()time.sleep(3)koulin = driver.find_element_by_css_selector('div.m-tkl-c').get_attribute("textContent")return "復製这条 %s 进入【Tao宝】即可抢购"%koulin

下载商品图片

然后就是下载商品的图片，选择一个本地路径保存图片

def download_pic(img, mkdir_name):f = open(mkdir_name, 'wb')r = requests.get(img, timeout=(5))f.write(r.content)print(img)f.close()

到此为止，我们已经得到了需要用于微信发送的所有商品信息，商品图片、商品名称、商品简介、商品淘口令，接下来就是如何通过微信实现自动化定时发送了，将在下一篇展开。

未完待续。。。

代码如下，稍微有点乱，下次再整理下：

import requests
from selenium import webdriver
import io,sys,json
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030')def get_loulin(url):mobile_emulation = {"deviceName":"iPhone 6"}chrome_option = webdriver.ChromeOptions()chrome_option.add_argument('headless')chrome_option.add_experimental_option("mobileEmulation", mobile_emulation)chrome_path = 'C:\\Program Files (x86)\\Google\\Chrome\\Application\\chromedriver.exe'driver = webdriver.Chrome(executable_path=chrome_path, options=chrome_option)driver.get(url)driver.find_element_by_css_selector('div.koulin-buy').click()time.sleep(3)koulin = driver.find_element_by_css_selector('div.m-tkl-c').get_attribute("textContent")return "復製这条 %s 进入【Tao宝】即可抢购"%koulindef get_TaoBaoTitle(url):req=requests.get(url)data=json.loads(req.content)return data['TaoBaoTitle'], data['Recommend']def download_pic(img, mkdir_name):f = open(mkdir_name, 'wb')r = requests.get(img, timeout=(5))f.write(r.content)print(img)f.close()def get_meiguang():url_data = []url = 'http://mgi.sitezt.cn/api/i/cmsitem/ssbdlist?id=0'req=requests.get(url)data=json.loads(req.content)index = 0for goods in data:if '水果' in goods['ItemTitle']:source_url = 'http://soa.s8bqi.cn/Newcms/html/mobile/goodsDetail.html?pre=realtime&id='+str(goods['ItemId'])+'&mi=%E5%B0%8F%E7%BE%8E%E5%A5%BD'goods_info = {}uu = 'http://mgi.sitezt.cn/api/i/cmsitem/getcmsitemdetail?id=%s'%str(goods['ItemId'])goods_info['TaoBaoTitle'], goods_info['Recommend'] = get_TaoBaoTitle(uu)goods_info['koulin'] = get_loulin(source_url)url_data.append(goods_info)default_dir = '%s.jpg'%str(index)index = index + 1image = goods['ItemImage']if 'https:' not in goods['ItemImage'] and 'http:' not in goods['ItemImage']:image = 'https:' + imagedownload_pic(image, default_dir)return url_data

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！