【爬虫入门】利用flask框架和echarts实现数据可视化

目录

前言

一、引入flask

二、使用步骤

1.生成本地app

2.返回html

3.使用flask和echarts

 4.传输数据和接受数据

5.调整参数

三、看成果



前言

利用flask框架并利用echarts可以对所得到的数据进行可视化分析(变成各种图:饼图、折线图等)


提示:以下是本篇文章正文内容,下面案例可供参考

一、引入flask

直接pip install flask就可以下载flask框架。

import flask就可以实现对flask框架的引入。 

二、使用步骤

1.生成本地app

代码如下(示例):

from flask import Flaskapp = Flask(__name__)@app.route('/')
def index():return 1if __name__ == '__main__':app.run(debug=True)

点击生成的链接就可以进入到本地的app,此时返回1。

然后我们在route中输入不同的字符,就可以接受不同的参数,以此来访问不同的本地地址。比如,我这里不是"/"而是“/login”,那么我们在网页中的后缀中再追加输入login才可以接受返回值1。而在本来的页面中什么也没有。 

app.run()里面的debug默认为False,当设置为True时,我们对代码改动,那么只需要刷新浏览器页面就可以了,而如果是默认值,那么就是需要重启main函数。

2.返回html

需要额外引入库

from flask import Flask,render_template

首先需要在本项目下,也就是和main函数同文件夹下,创造一个名为:templates的文件夹,然后在其中放入或者创建自己需要的html文件。

return render_template('echarts.html')

这就会把html内容的返回出来。

3.使用flask和echarts

首先打开echarts,选择示例的一个好看的例子,符合此次的分析的图。

在准备好的echarts.html的文件里创造一个画图区域,再去bootcdn中找echarts的script,以下内容建议按模板来,这里我选了一个自定义饼图的图。

https://echarts.apache.org/examples/zh/editor.html?c=pie-custom



第一个 ECharts 实例




 4.传输数据和接受数据

现在我有一个csv的文件,里面有数据内容,现在我要传到html中,怎么办呢?

import pandas as pddata = pd.read_csv('data.csv')

首先我们先获取csv的内容,同时确定一定要有表头,即:

 确保有name和value,即在设计这个文件时就要加上,因为其中接受的参数名就叫‘name’和‘value’。

如果不是,那么就更改:用rename函数。

data = data.rename(columns={"原来的name":name,"原来的value":value})

然后呢我们需要把这个值传给html让它接收,最后展示。我们知道,这个data接收的是dic类型的数据,那么我们先转换为dic再给,这时候,data为list类型的数据,里面是dic类型。

这时候只需要传入参数并在html中接收就行了。

return render_template('echarts.html',data=data)

 

 双{}接收数据,并把它转为json类型,以适应浏览器来显示。

5.调整参数

 

 min和max根据实际情况来调整。

 亮度默认为0到1,建议为0.5到1。

三、看成果

 这是爬取了某东的爬虫书籍的数据展示。最后,给大家奉献出我的全部代码。

main函数:

from selenium.webdriver import Chrome
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
import time
import csv
from flask import Flask,render_template
import pandas as pdapp = Flask(__name__)@app.route('/')
def index():pricedomain1 = 0pricedomain2 = 0pricedomain3 = 0pricedomain4 = 0pricedomain5 = 0t = 1with open('book2.csv', mode='r',encoding='utf-8')as f:for line in f:if t == 1:t += 1continuebook_a_price = line.split('¥')[-1].strip()if book_a_price == '' or book_a_price == '"拍拍':continuebook_a_price = float(book_a_price)if book_a_price < 30:pricedomain1 += 1elif book_a_price < 60:pricedomain2 += 1elif book_a_price < 90:pricedomain3 += 1elif book_a_price < 120:pricedomain4 += 1elif book_a_price > 120:pricedomain5 += 1f = open('data.csv', mode='w',encoding='utf-8')w = csv.writer(f)w.writerow({'name': 'name', 'value': 'value'})w.writerow({'0~30':'name', f'{pricedomain1}':'value'})w.writerow({'30~60': 'name', f'{pricedomain2}': 'value'})w.writerow({'60~90': 'name', f'{pricedomain3}': 'value'})w.writerow({'90~120': 'name', f'{pricedomain4}': 'value'})w.writerow({'120+~': 'name', f'{pricedomain5}': 'value'})f.close()data = pd.read_csv('data.csv')print(data)data = data.to_dict(orient='records')return render_template('echarts.html',data=data)def scrap_data(url, csvname):f = open(f'{csvname}.csv', mode='w', encoding='utf-8')w = csv.writer(f)option = Options()option.add_argument('--disable-blinkfeatures=AutomationControlled')web = Chrome(options=option)page_id = 1web.get('https://search.jd.com/Search?keyword=python%E7%88%AC%E8%99%AB&pvid=decc839754e0409cbfdcf18b79991ab3&page=')while True:time.sleep(2)name = web.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li/div/div[3]/a/em')price = (web.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li/div/div[2]'))for named, priced in zip(name, price):w.writerow({named.text: 'named', priced.text: 'priced'})time.sleep(2)page_id += 1if page_id > 5:breakweb.find_element(By.XPATH, '//*[@id="J_bottomPage"]/span[1]/a[9]').click()f.close()if __name__ == '__main__':url = 'https://search.jd.com/Search?keyword=python%E7%88%AC%E8%99%AB&pvid=decc839754e0409cbfdcf18b79991ab3&page='csvname = 'book2'scrap_data(url, csvname)app.run()

echarts.html



第一个 ECharts 实例




本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部