Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

思路:使用Python爬虫对腾讯疫情网站世界疫情数据进行爬取,封装成一个函数返回一个字典数据格式的对象,写另一个方法调用该函数接收返回值,和数据库取得连接后把数据存储到mysql数据库。

Posted in Python onMarch 29, 2021

一、mysql数据库建表

CREATE TABLE world(
 id INT(11) NOT NULL AUTO_INCREMENT,
 dt DATETIME NOT NULL COMMENT '日期',
 c_name VARCHAR(35) DEFAULT NULL COMMENT '国家',
 continent VARCHAR(35) DEFAULT NULL COMMENT '所属大洲',
 nowConfirm INT(11) DEFAULT NULL COMMENT '累计确诊',
 confirm INT(11) DEFAULT NULL COMMENT '当日现存确诊',
 confirmAdd INT(11) DEFAULT NULL COMMENT '当日新增确诊',
 suspect INT(11) DEFAULT NULL COMMENT '剩余疑似',
 heal INT(11) DEFAULT NULL COMMENT '累计治愈',
 dead INT(11) DEFAULT NULL COMMENT '累计死亡',
 confirmAddCut INT(11) DEFAULT NULL COMMENT 'confirmAddCut',
 confirmCompare INT(11) DEFAULT NULL COMMENT 'confirmCompare',
 nowConfirmCompare INT(11) DEFAULT NULL COMMENT 'nowConfirmCompare',
 healCompare INT(11) DEFAULT NULL COMMENT 'healCompare',
 deadCompare INT(11) DEFAULT NULL COMMENT 'deadCompare',
 PRIMARY KEY(id)
)ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

注意建立的表,数据的名字,数据的长度,数据的类型,主键的定义一定要小心仔细。

这里博主出现了几个小错误:

①数据表的主键不可以设置为日期,因为在之后爬取数据之后可以看到,网站给的数据是同一天的,因为主键不可以有重复,所以相同的日期是不可以作为主键定义的。

②设置int类型的id作为数据表的主键,那么存在一个问题,在往表里插入数据的时候,id位置的数据值需要考虑,这个方法可以解决:可以在传值的时候把id的值设定为 0,前提是id是自增的,这样数据库是可以自己处理id的,依然是从0开始自增,这样避免了不给id传值导致Null的异常。

③博主使用的mysql可视化工具默认在一个页面显示30条记录,在右上角可以改变显示的记录数,因为本次插入的是185条数据,所以在插入完之后如果发现数据不对,可以看看可视化工具是不是有什么设置导致的。

二、下面直接上代码(爬虫方法)

"""
获取全球疫情数据
"""
def get_world_data():
 url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
 headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
 # 创建会话对象
 # session = requests.session()
 # 请求接口
 # result = session.get('https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist')
 # 打印结果
 # print(result.text)
 res = requests.get(url, headers=headers)
 # print(res.text)
 response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1]) #转化json对象
 # print(response_data_0.keys())
 # print(response_data_0)
 response_data_1=response_data_0['data']
 # print(response_data_1)
 # print(response_data_1[0].keys())
 # data = jsonpath.jsonpath(resJson_1, '$.data.*')
 # print(resJson_1.keys())
 # for d in data:
 # res = '日期:' + d['date'] + '--' + d['continent'] + '--' + d['name'] + '--' + '新增确诊:' + str(
 # d['confirmAdd']) + '累计确诊:' + str(d['confirm']) + '治愈:' + str(d['heal']) + '死亡:' + str(d['dead'])
 # file = r'C:/Users/Administrator/Desktop/world_data.txt'
 # with open(file, 'w+', encoding='utf-8') as f:
 # f.write(res + '\n') # 加\n换行显示
 # f.close()
 world={}
 for i in response_data_1:
 temp=i['y']+'.'+i['date']
 tup = time.strptime(temp, '%Y.%m.%d')
 dt = time.strftime('%Y-%m-%d', tup) # 改变时间格式,插入数据库 日期
 # print(ds)
 c_name=i['name'] #国家
 continent=i['continent'] #所属大洲
 nowConfirm=i['nowConfirm'] #现有确诊
 confirm=i['confirm'] #累计确诊
 confirmAdd=i['confirmAdd'] #新增确诊
 suspect=i['suspect'] #现有疑似
 heal=i['heal'] #累计治愈
 dead=i['dead'] #累计死亡
 confirmAddCut=i['confirmAddCut']
 confirmCompare=i['confirmCompare']
 nowConfirmCompare=i['nowConfirmCompare']
 healCompare=i['healCompare']
 deadCompare=i['deadCompare']
 world[c_name] = {'dt':dt ,
  'continent': continent,
  'nowConfirm': nowConfirm,
  'confirm': confirm,
  'confirmAdd': confirmAdd,
  'suspect': suspect,
  'heal': heal,
  'dead': dead,
  'confirmAddCut': confirmAddCut,
  'confirmCompare': confirmCompare,
  'nowConfirmCompare': nowConfirmCompare,
  'healCompare': healCompare,
  'deadCompare': deadCompare,
  }
 return world

三、插入数据库

def insert_world():
 """
 更新 world 表
 :return:
 """
 cursor = None
 conn = None
 try:
 dic = get_world_data()
 print(dic)
 conn, cursor = get_conn()
 sql = "insert into world values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
 sql_query = 'select %s=(select dt from world order by id desc limit 1)' #对比当前最大时间戳
 cursor.execute(sql_query,dic['美国']['dt'])
 if not cursor.fetchone()[0]:
 print(f"{time.asctime()}开始插入世界数据")
 for k, v in dic.items(): # item 格式 {'2021-01-13': {'confirm': 41, 'suspect': 0, 'heal': 0, 'dead': 1}
 cursor.execute(sql, [0,v.get('dt'), k, v.get("continent"), v.get("nowConfirm"),
  v.get("confirm"), v.get("confirmAdd"),v.get("suspect"),v.get("heal"), v.get("dead")
  , v.get("confirmAddCut"), v.get("confirmCompare"), v.get("nowConfirmCompare"), v.get("healCompare"),
 v.get("deadCompare")])
 conn.commit() # 提交事务
 print(f"{time.asctime()}插入世界数据完毕")
 else:
 print(f"{time.asctime()}世界数据已是最新数据!")
 except:
 traceback.print_exc()
 finally:
 close_conn(conn, cursor)

总结一下在完成这两个方法的过程中遇到的问题,首先是最基础的问题,数据的类型和格式的转换,这里主要是指json字符串和Python里对应的数据对象(list和字典)。

(1)一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为三部分,结构化的数据、半结构化的数据和非机构化数据。

1.结构化数据:可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储,表现为二维形式的数据,一般特点是:数据以行为单位,一行数据表示一个实体的信息,每一行的数据的属性是相同的。

2.半结构化数据:结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有:html,xml和json等、

实际上是以树或者图的结构来存储的。对于半结构化数据,节点中属性的顺序是不重要的,不同的半结构化数据的属性的个数是不一样的。这样的数据格式,可以自由的表达很多有用的信息,包含自描述信息。所以半结构化数据的扩展性很好,特别适合于在互联网中大规模传播。

3.非结构化数据: 就是没有固定的结构。各种文档,图片,视频或者音频都属于非结构化数据。对于这类数据,我们一般直接整体进行存储,而且一般存储为二进制形式。

json数据      

json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。基于ECMAScript(w3c制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。

特点:易于阅读、易于机器生成、有效提升网络速度。       

JSON语法规则:

在JS语言中,一切都是对象。因此,任何支持的类型都可以通过json来表示。

例如字符串、数字,对象,数组。
Js中对象和数组是比较特殊并且常用的两种类型:

  • 对象表示为键值对{name:'zhangsan',age:'7'}
  • 数据有逗号分隔[1,2,3,4,5]
  • 花括号保存对象
  • 方括号保存数组。

js的对象就相当于python中的字典,js的数组就相当于Python中的列表, 因为json用来存储js的对象或者数组,所以在Python中我们可以将json转化为list或者dict。

解析json的包json:

  • json.dumps(python的list或者dict)---->(返回值)---->json字符串。
  • json.loads(json字符串)------>(返回值)----->python的list或者dict.
  • json.dump(list/dict,fp)—>list,或者字典保存到json文件中。
  • json.load(fp)—>list/dict:从json文件中读出json数据。

json键值对是用来保存js对象的一种方式,和js对象的写法页大同小异,比如:

{“firstName”:“Json”,“Class”:“aid1111”}

等价于下面这条js语句:

{firstName:“Json”,Class:“aid1111”}。

很多人搞不清楚json和js对象的关系,甚至谁是谁都不清楚。其实可以这么理解:

【JSON是JS对象的字符串表达式,他使用文本形式表示一个JS对象的信息,本质是一个字符串。】

var obj = {a:“hello”,b:“World”}

这是一个js对象。注意,键名也是可以用引号包裹的

var json = ' {“a”:“hello”,“b”:“World”}'

这是一个json字符串,本质上是一个字符串。

JSON作为数据包格式传输的时候具有更高的效率,这是因为JSON不想xml那样具有严格的闭合标签,这就让有效数据量与总数据包比大大提升,从而减少同等数据流量的情况下,网络的传输的压力大大减低。

 

这是中国的疫情数据,注意箭头指的地方,这里的data对应的key是字典

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

这是全球疫情,注意这里data对应的是list

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

数据的格式非常重要,因为在后续需要把网页爬取的数据接受之后,还要把数据导入数据库,所以中间数据的格式必须清楚,

比如list类型的可以通过下标去访问,而字典只可以通过name来访问,字典是不提供索引的,所以不可以通过下标访问。还

有就是数据库里的日期格式一定要注意转换再插入。

四、总结一下爬取数据的步骤:

(1)首先需要导入需要的包:

import requests
import pymysql
import time
import json
import traceback

(2)通过request向被爬取网站的url发起一个请求(如果网站有反爬取手段,需要在请求里加上headers)
获取headers:

到指定网站,浏览器按F12,之后在网络那一个选项里可以看到。

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

 (3)获取和解析数据

url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
 
res = requests.get(url, headers=headers)
# print(res.text)
response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1]) #转化json对象

这里进行了第一步解析,通过json.loads( ) 方法把从网页获取的json字符串数据转化成Python对应的list或者字典。

如果第一步解析之后data对应的value不是list,那么可以进行第二次解析,本次操作中,世界疫情数据的data对

应的数据是一个list,所以也就不需要进行第二次转化,可以直接通过list的下标去访问。

数据转化是必要的,在网络中json字符串传递小巧安全速度快,但是我们读取数据,如果直接对字符串进行操作

会非常不方便,所以我们需要解析json字符串,也就是通过json.loads()方法把字符串转化成Python对应的list或

者字典对象,这样我们访问操作这些数据会变得简单。

Python 相关文章推荐
windows下wxPython开发环境安装与配置方法
Jun 28 Python
Python生成pdf文件的方法
Aug 04 Python
Python实现KNN邻近算法
Jan 28 Python
python实现微信发送邮件关闭电脑功能
Feb 22 Python
Django中STATIC_ROOT和STATIC_URL及STATICFILES_DIRS浅析
May 08 Python
python+opencv实现高斯平滑滤波
Jul 21 Python
python实现扫描局域网指定网段ip的方法
Apr 16 Python
Django中Middleware中的函数详解
Jul 18 Python
Django缓存系统实现过程解析
Aug 02 Python
python分布式计算dispy的使用详解
Dec 22 Python
大数据分析用java还是Python
Jul 06 Python
Vs Code中8个好用的python 扩展插件
Oct 12 Python
Python爬虫数据的分类及json数据使用小结
Mar 29 #Python
python re模块和正则表达式
Mar 24 #Python
opencv实现图像几何变换
PyQt QMainWindow的使用示例
Mar 24 #Python
PyQt 如何创建自定义QWidget
Mar 24 #Python
解决python 输出到csv 出现多空行的情况
opencv实现图像平移效果
You might like
php字符串分割函数explode的实例代码
2013/02/07 PHP
PHP实现文件下载断点续传详解
2014/10/15 PHP
Laravel Eloquent分表方法并使用模型关联的实现
2019/11/25 PHP
IE中createElement需要注意的一个问题
2010/07/13 Javascript
javascript学习笔记(十三) js闭包介绍(转)
2012/06/20 Javascript
多个jquery.datatable共存,checkbox全选异常的快速解决方法
2013/12/10 Javascript
ext中store.load跟store.reload的区别示例介绍
2014/06/17 Javascript
跟我学习javascript的严格模式
2015/11/16 Javascript
zTree插件下拉树使用入门教程
2016/04/11 Javascript
Bootstrap三种表单布局的使用方法
2016/06/21 Javascript
JS 实现banner图片轮播效果(鼠标事件)
2017/08/04 Javascript
浅析Vue 生命周期
2018/06/21 Javascript
用Electron写个带界面的nodejs爬虫的实现方法
2019/01/29 NodeJs
vue项目从node8.x升级到12.x后的问题解决
2019/10/25 Javascript
让mocha支持ES6模块的方法实现
2020/01/14 Javascript
详解Vue中的Props与Data细微差别
2020/03/02 Javascript
ES6的循环与可迭代对象示例详解
2021/01/31 Javascript
[02:43]2018DOTA2亚洲邀请赛主赛事首日TOP5
2018/04/04 DOTA
[01:42:49]DOTA2-DPC中国联赛 正赛 iG vs PSG.LGD BO3 第一场 2月26日
2021/03/11 DOTA
Python将多个list合并为1个list的方法
2018/06/27 Python
Flask框架Flask-Principal基本用法实例分析
2018/07/23 Python
Python元组常见操作示例
2019/02/19 Python
PyQt5实现从主窗口打开子窗口的方法
2019/06/19 Python
Django 接收Post请求数据,并保存到数据库的实现方法
2019/07/12 Python
wxPython修改文本框颜色过程解析
2020/02/14 Python
用python实现前向分词最大匹配算法的示例代码
2020/08/06 Python
英国领先的男装设计师服装购物网站:Mainline Menswear
2018/02/04 全球购物
园林技术个人的自我评价
2014/01/08 职场文书
施工安全责任书
2014/04/14 职场文书
《长城和运河》教学反思
2014/04/14 职场文书
贷款担保申请书
2014/05/20 职场文书
日语专业毕业生自荐书
2014/06/18 职场文书
武当山导游词
2015/02/03 职场文书
2015年安全生产管理工作总结
2015/05/25 职场文书
某学校的2019年度工作报告范本
2019/10/11 职场文书
java开发双人五子棋游戏
2022/05/06 Java/Android