【Python】实时采集疫情数据,打造可视化地图,防疫从你我做起

x33g5p2x  于2021-12-06 转载在 Python  
字(3.1k)|赞(0)|评价(0)|浏览(362)

一、写在前面

兄弟们,最近又是各种疫情,平时下班了没事大家要尽量少去人多的地方,出门记得戴口罩。

那么不出门闲在家没事干,就只能多学习一下新东西,今天来爬爬国内疫情数据,看看全国的疫情情况,最后来个数据可视化,做个可视化地图。

二、准备工作

2.1、开发环境

  • python 3.8 比较稳定版本 解释器发行版 anaconda --> jupyter notebook 里面写数据分析代码 专业性
  • pycharm 专业代码编辑器 按照年份与月份划分版本的

如果你不会安装软件、模块、或者其它基础简单的问题,看这里:Python入门合集

本文最后我也附了视频教程,文章不能理解,可以看视频。

2.2、知识点

  1. 爬虫基本流程
  2. json
  3. requests 爬虫当中 发送网络请求
  4. pandas 表格处理 / 保存数据
  5. pyecharts 可视化

三、爬虫部分

3.1、爬虫流程

  1. 明确需求
    我们要爬取的内容是什么?
    分析数据从哪里来的 https://news.qq.com/zt2020/page/feiyan.htm#/
    用开发者工具 进行抓包(数据包)分析
  2. 代码流程
    ①.发送请求 访问网站 https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=1638361138568
    ②.获取数据
    ③.解析数据
    xpath css re json bs4(过时了)
    json 在python语言当中 字典类型数据 {键1:值1, 键2:值2, 键3:值3}
    ④.保存数据

3.2、数据采集

导入模块

import time   # 时间模块
import json   # json包
import requests    # 网络请求库 第三方 pip
import pandas as pd  # 数据处理 第三库 pip
  1. 目标网址
    https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&callback=jQuery35106097998260028255_1617971061475&_=1617971061476
url = 'https://view.inews.qq.com/g2/getOnsInfo?name=disease_h5&_=%d'%int(time.time()*1000)
  1. 模拟浏览器发送请求,获取响应
html = requests.get(url)
  1. 解析网页,提取数据
  • 正则
  • xpath
  • bs4
# json类型转换
data = json.loads(html.json()['data'])
china_data = data['areaTree'][0]['children']

data_set = []

for i in china_data:
    data_dict = {}
    # 地区名称
    data_dict['province'] = i['name']
    # 疫情数据
    # 新增确诊
    data_dict['nowConfirm'] = i['total']['nowConfirm']
    data_dict['confirm'] = i['total']['confirm']
    data_dict['dead'] = i['total']['dead']
    data_dict['heal'] = i['total']['heal']
    data_dict['deadRate'] = i['total']['deadRate']
    data_dict['healRate'] = i['total']['healRate']
    data_set.append(data_dict)
df = pd.DataFrame(data_set)
df
  1. 保存数据
df.to_csv(r'data.csv')

四、数据可视化部分

  • matplotlib
  • pyecharts # pip install pyecharts
from pyecharts import options as opts
from pyecharts.charts import Bar,Line,Pie,Map,Grid
df2 = df.sort_values(by=['nowConfirm'],ascending=False)[:9]
df2
[list(i) for i in zip(df2['province'].values.tolist(),df2['nowConfirm'].values.tolist())]
pie = (
    Pie()
    .add(
        "",
        [list(i) for i in zip(df2['province'].values.tolist(),df2['nowConfirm'].values.tolist())],
        radius = ["10%","30%"]
    )
    .set_global_opts(
            legend_opts=opts.LegendOpts(orient="vertical", pos_top="70%", pos_left="70%"),
    )
    .set_series_opts(label_opts=opts.LabelOpts(formatter="{b}: {c}"))
)
pie.render_notebook()

死亡率与治愈率

line = (
    Line()
    .add_xaxis(list(df['province'].values))
    .add_yaxis("治愈率", df['healRate'].values.tolist())
    .add_yaxis("死亡率", df['deadRate'].values.tolist())
    .set_global_opts(
        title_opts=opts.TitleOpts(title="死亡率与治愈率"),

    )
)
line.render_notebook()

各地确诊与死亡人数情况

bar = (
    Bar()
    .add_xaxis(list(df['province'].values)[:6])
    .add_yaxis("死亡", df['dead'].values.tolist()[:6])
    .add_yaxis("治愈", df['heal'].values.tolist()[:6])
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地区确诊人数与死亡人数情况"),
        datazoom_opts=[opts.DataZoomOpts()],
        )
)
bar.render_notebook()

各地确诊人数

china_map = (
    Map()
    .add("现有确诊", [list(i) for i in zip(df['province'].values.tolist(),df['nowConfirm'].values.tolist())], "china")
    .set_global_opts(
        title_opts=opts.TitleOpts(title="各地区确诊人数"),
        visualmap_opts=opts.VisualMapOpts(max_=200, is_piecewise=True),
    )
)
china_map.render('a.html')

五、视频教程

就怕零基础不会,针对这个也出了相对的视频教程,大家可以自行观看。

【Python爬虫+数据分析】实时采集最新疫情数据,绘制可视化地图分析!

六、写在最后

兄弟们,如果觉得对你有帮助,别忘了给个面子来个点赞评论收藏转发四连~

相关文章