利用Python爬虫了解2017年科技界的重大事件——爬取17年腾讯新闻科技板块下的所有新闻

一、主题

　　本次作业是通过爬取腾讯新闻科技板块下2017年所有的新闻数据来分析17年科技界都发生了哪些热门事件，通过词云分析得出17年度科技界最热的词语。

二、实现过程

　　1、首先打开腾讯新闻网，进入科技频道。然后通过浏览器检查工具查看网页源代码，查找规律。

可以看出腾讯新闻科技频道下的新闻列表网址的规律如下：

　　网址前面一部分以年份和月份表示，后一部分以具体哪一天的日期表示。

　　所以我通过如下代码获取17年腾讯科技频道新闻的所有新闻列表页：

# 获取2017年所有新闻详情页的链接
def FindAll():newsList=[]for month in range(1, 13):for day in range(1, 29):if(month < 10):month= '0'+str(month)if(day<10):day = '0'+str(day)url='http://tech.qq.com/l/2017{mon}/scroll_{da}.htm'.format(mon=month,da=day)month= int(month)day= int(day)nextUrl=finNextPage(url)if nextUrl:getListPage(nextUrl)getListPage(url)

2、但由于具体哪一天到底有几页新闻列表页是不确定的（如下图，有些一天的新闻列表页只有一页，有些两页或者三页。由于三页的情况比较少，所以我只考虑了一页两页的情况）

通过观察网页源代码可知，当某天新闻列表页存在第二页的情况下，第二页新闻列表页网址是在第一页网址基础上追加“_2"来表示的，如下图

于是有了判断某天新闻列表页是否存在第二页的思路，代码如下：

# 判断当天新闻是否存在下一页
def finNextPage(newsUrl):url=newsUrl.split(".htm")url = url[0] + '_2.htm'result=requests.get(url)if (result.status_code==200):return url

3、在爬取到了17年全天的新闻列表页的情况下，接下来就是爬取具体新闻列表页的所有新闻详情的网址链接了

　　可以看到，新闻详情页链接放在li标签里的a标签下，所以只需爬取a标签的href属性值，代码如下：

# 获取新闻列表页的所有新闻链接
def getListPage( pageUrl):reslistnew = requests.get(pageUrl)reslistnew.encoding = 'gbk'souplistnew = BeautifulSoup(reslistnew.text, 'html.parser')for news in souplistnew.select('li'):if len(news.select('.pub_time'))>0:newsUrl=news.select('a')[0].attrs['href']#getNewsDetail(newsUrl)result = re.search('http(.*?)html', newsUrl)if result is None:print("------------------------"+newsUrl+"    -------------------------------------------")getNewsDetail(newsUrl)print("\n \n \n")

4、知道了17年所有科技新闻的详情页链接，就可以开始爬取新闻详情正文内容为词云分析做准备了

通过查看源代码，可知新闻正文放在”Cnt-Main-Article-QQ“里的P标签下，如图

但由于腾讯新闻种类繁多，有些是图集新闻，没有正文内容，如果还按照有正文的方式爬取便会出错，而且有些新闻代码风格也不一致，正文放的DIV名字不相同，所以要区别对待爬取，代码如下：

# 解析新闻详情页的新闻发布时间、标题、正文等描述
def getNewsDetail(newsUrl):resd = requests.get(newsUrl)resd.encoding = 'gbk'soupd = BeautifulSoup(resd.text, 'html.parser')news = {}Cnt_Main_Article=soupd.select('.Cnt-Main-Article-QQ')Main_P_QQ=soupd.select('Main-P-QQ')if soupd.select('.rv-middle'):news['content']=soupd.select('h1')[0].textelse:news['title'] = soupd.select('h1')[0].textif Cnt_Main_Article:news['content'] = Cnt_Main_Article[0].textelif Main_P_QQ:news['content'] = '空'else:news['content'] = '空'saveNews(news['content'])print(news)

5、在爬取新闻正文之后，还要注意把内容保存起来，这里我把爬取到的新闻正文内容保存到TechNews.txt里。代码如下：

# 保存新闻内容
def saveNews(content):f=open("TechNews.txt",'a',encoding='utf-8')f.write(content)f.close()

至此，2017年腾讯新闻科技频道下的所有新闻正文内容已爬取下来保存好了

6、接下来就是结合词云进行词频统计了

import wordcloudfrom wordcloud import wordcloud.wordCloud()#词云包import jieba
text=open('TechNews.txt','r',encoding='utf-8')
word=text.read()
text.close()
wordDict={}
wordList=list(jieba.cut(word))
wordSet=set(wordList)
wordCutSet={',','的','。','\n',' ','了','他','\u3000','是','也','人','一个','，','、'}
wordSet=wordSet-wordCutSet
for w in wordSet:wordDict[w]=wordList.count(w)
sortWord=sorted(wordDict.items(),key=lambda e:e[1],reverse=True)
for w in range(20):print(sortWord[w])image = Image.open('stay.png')graph = np.array(image)# 进行词云的设置wc = WordCloud(font_path='./fonts/simhei.ttf',  background_color='White',max_words=230, mask=graph, random_state=30,scale=1.5)wc.generate_from_frequencies(keywords)image_color = ImageColorGenerator(graph)plt.imshow(wc)plt.imshow(wc.recolor(color_func=image_color))plt.axis("off")plt.show()wc.to_file('dream.png')

统计结果如下：

7、由词云图可以看出，17年科技界比较火的就是大数据，人工智能，物联网，区块链等等。其中也可以看出，腾讯，谷歌，阿里巴巴，微软，谷歌这几家公司几乎是占据着科技新闻的头条，可以是科技界的大哥大了

8、最后提交爬取的全部数据、爬虫及数据分析源代码。

import pandas
import requests
from bs4 import BeautifulSoup
from datetime import datetime
import re
import openpyxl# 保存新闻内容
def saveNews(content):f=open("TechNews.txt",'a',encoding='utf-8')f.write(content)f.close()
# 解析新闻详情页的新闻发布时间、标题、正文等描述
def getNewsDetail(newsUrl):resd = requests.get(newsUrl)resd.encoding = 'gbk'soupd = BeautifulSoup(resd.text, 'html.parser')news = {}Cnt_Main_Article=soupd.select('.Cnt-Main-Article-QQ')Main_P_QQ=soupd.select('Main-P-QQ')if soupd.select('.rv-middle'):news['content']=soupd.select('h1')[0].textelse:news['title'] = soupd.select('h1')[0].textif Cnt_Main_Article:news['content'] = Cnt_Main_Article[0].textelif Main_P_QQ:news['content'] = '空'else:news['content'] = '空'saveNews(news['content'])print(news)# 获取新闻列表页的所有新闻链接
def getListPage( pageUrl):reslistnew = requests.get(pageUrl)reslistnew.encoding = 'gbk'souplistnew = BeautifulSoup(reslistnew.text, 'html.parser')for news in souplistnew.select('li'):if len(news.select('.pub_time'))>0:newsUrl=news.select('a')[0].attrs['href']#getNewsDetail(newsUrl)result = re.search('http(.*?)html', newsUrl)if result is None:print("------------------------"+newsUrl+"    -------------------------------------------")getNewsDetail(newsUrl)print("\n \n \n")# 获取2017年所有新闻详情页的链接
def FindAll():newsList=[]for month in range(1, 13):for day in range(1, 29):if(month < 10):month= '0'+str(month)if(day<10):day = '0'+str(day)url='http://tech.qq.com/l/2017{mon}/scroll_{da}.htm'.format(mon=month,da=day)month= int(month)day= int(day)nextUrl=finNextPage(url)if nextUrl:getListPage(nextUrl)getListPage(url)# 判断当天新闻是否存在下一页
def finNextPage(newsUrl):url=newsUrl.split(".htm")url = url[0] + '_2.htm'result=requests.get(url)if (result.status_code==200):return urldef result():text=open('TechNews.txt','r',encoding='utf-8')word=text.read()text.close()wordDict={}wordList=list(jieba.cut(word))wordSet=set(wordList)wordCutSet={',','的','。','\n',' ','了','他','\u3000','是','也','人','一个','，','、'}wordSet=wordSet-wordCutSetfor w in wordSet:wordDict[w]=wordList.count(w)sortWord=sorted(wordDict.items(),key=lambda e:e[1],reverse=True)for w in range(20):print(sortWord[w])image = Image.open('stay.png')graph = np.array(image)# 进行词云的设置wc = WordCloud(font_path='./fonts/simhei.ttf',  background_color='White',max_words=230, mask=graph, random_state=30,scale=1.5)wc.generate_from_frequencies(keywords)image_color = ImageColorGenerator(graph)plt.imshow(wc)plt.imshow(wc.recolor(color_func=image_color))plt.axis("off")plt.show()wc.to_file('dream.png')
FindAll()

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！