Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

思路:使用Python爬虫对腾讯疫情网站世界疫情数据进行爬取,封装成一个函数返回一个字典数据格式的对象,写另一个方法调用该函数接收返回值,和数据库取得连接后把数据存储到mysql数据库。

Posted in Python onMarch 29, 2021

一、mysql数据库建表

CREATE TABLE world(
 id INT(11) NOT NULL AUTO_INCREMENT,
 dt DATETIME NOT NULL COMMENT '日期',
 c_name VARCHAR(35) DEFAULT NULL COMMENT '国家',
 continent VARCHAR(35) DEFAULT NULL COMMENT '所属大洲',
 nowConfirm INT(11) DEFAULT NULL COMMENT '累计确诊',
 confirm INT(11) DEFAULT NULL COMMENT '当日现存确诊',
 confirmAdd INT(11) DEFAULT NULL COMMENT '当日新增确诊',
 suspect INT(11) DEFAULT NULL COMMENT '剩余疑似',
 heal INT(11) DEFAULT NULL COMMENT '累计治愈',
 dead INT(11) DEFAULT NULL COMMENT '累计死亡',
 confirmAddCut INT(11) DEFAULT NULL COMMENT 'confirmAddCut',
 confirmCompare INT(11) DEFAULT NULL COMMENT 'confirmCompare',
 nowConfirmCompare INT(11) DEFAULT NULL COMMENT 'nowConfirmCompare',
 healCompare INT(11) DEFAULT NULL COMMENT 'healCompare',
 deadCompare INT(11) DEFAULT NULL COMMENT 'deadCompare',
 PRIMARY KEY(id)
)ENGINE=INNODB DEFAULT CHARSET=utf8mb4;

注意建立的表,数据的名字,数据的长度,数据的类型,主键的定义一定要小心仔细。

这里博主出现了几个小错误:

①数据表的主键不可以设置为日期,因为在之后爬取数据之后可以看到,网站给的数据是同一天的,因为主键不可以有重复,所以相同的日期是不可以作为主键定义的。

②设置int类型的id作为数据表的主键,那么存在一个问题,在往表里插入数据的时候,id位置的数据值需要考虑,这个方法可以解决:可以在传值的时候把id的值设定为 0,前提是id是自增的,这样数据库是可以自己处理id的,依然是从0开始自增,这样避免了不给id传值导致Null的异常。

③博主使用的mysql可视化工具默认在一个页面显示30条记录,在右上角可以改变显示的记录数,因为本次插入的是185条数据,所以在插入完之后如果发现数据不对,可以看看可视化工具是不是有什么设置导致的。

二、下面直接上代码(爬虫方法)

"""
获取全球疫情数据
"""
def get_world_data():
 url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
 headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
 # 创建会话对象
 # session = requests.session()
 # 请求接口
 # result = session.get('https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist')
 # 打印结果
 # print(result.text)
 res = requests.get(url, headers=headers)
 # print(res.text)
 response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1]) #转化json对象
 # print(response_data_0.keys())
 # print(response_data_0)
 response_data_1=response_data_0['data']
 # print(response_data_1)
 # print(response_data_1[0].keys())
 # data = jsonpath.jsonpath(resJson_1, '$.data.*')
 # print(resJson_1.keys())
 # for d in data:
 # res = '日期:' + d['date'] + '--' + d['continent'] + '--' + d['name'] + '--' + '新增确诊:' + str(
 # d['confirmAdd']) + '累计确诊:' + str(d['confirm']) + '治愈:' + str(d['heal']) + '死亡:' + str(d['dead'])
 # file = r'C:/Users/Administrator/Desktop/world_data.txt'
 # with open(file, 'w+', encoding='utf-8') as f:
 # f.write(res + '\n') # 加\n换行显示
 # f.close()
 world={}
 for i in response_data_1:
 temp=i['y']+'.'+i['date']
 tup = time.strptime(temp, '%Y.%m.%d')
 dt = time.strftime('%Y-%m-%d', tup) # 改变时间格式,插入数据库 日期
 # print(ds)
 c_name=i['name'] #国家
 continent=i['continent'] #所属大洲
 nowConfirm=i['nowConfirm'] #现有确诊
 confirm=i['confirm'] #累计确诊
 confirmAdd=i['confirmAdd'] #新增确诊
 suspect=i['suspect'] #现有疑似
 heal=i['heal'] #累计治愈
 dead=i['dead'] #累计死亡
 confirmAddCut=i['confirmAddCut']
 confirmCompare=i['confirmCompare']
 nowConfirmCompare=i['nowConfirmCompare']
 healCompare=i['healCompare']
 deadCompare=i['deadCompare']
 world[c_name] = {'dt':dt ,
  'continent': continent,
  'nowConfirm': nowConfirm,
  'confirm': confirm,
  'confirmAdd': confirmAdd,
  'suspect': suspect,
  'heal': heal,
  'dead': dead,
  'confirmAddCut': confirmAddCut,
  'confirmCompare': confirmCompare,
  'nowConfirmCompare': nowConfirmCompare,
  'healCompare': healCompare,
  'deadCompare': deadCompare,
  }
 return world

三、插入数据库

def insert_world():
 """
 更新 world 表
 :return:
 """
 cursor = None
 conn = None
 try:
 dic = get_world_data()
 print(dic)
 conn, cursor = get_conn()
 sql = "insert into world values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
 sql_query = 'select %s=(select dt from world order by id desc limit 1)' #对比当前最大时间戳
 cursor.execute(sql_query,dic['美国']['dt'])
 if not cursor.fetchone()[0]:
 print(f"{time.asctime()}开始插入世界数据")
 for k, v in dic.items(): # item 格式 {'2021-01-13': {'confirm': 41, 'suspect': 0, 'heal': 0, 'dead': 1}
 cursor.execute(sql, [0,v.get('dt'), k, v.get("continent"), v.get("nowConfirm"),
  v.get("confirm"), v.get("confirmAdd"),v.get("suspect"),v.get("heal"), v.get("dead")
  , v.get("confirmAddCut"), v.get("confirmCompare"), v.get("nowConfirmCompare"), v.get("healCompare"),
 v.get("deadCompare")])
 conn.commit() # 提交事务
 print(f"{time.asctime()}插入世界数据完毕")
 else:
 print(f"{time.asctime()}世界数据已是最新数据!")
 except:
 traceback.print_exc()
 finally:
 close_conn(conn, cursor)

总结一下在完成这两个方法的过程中遇到的问题,首先是最基础的问题,数据的类型和格式的转换,这里主要是指json字符串和Python里对应的数据对象(list和字典)。

(1)一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为三部分,结构化的数据、半结构化的数据和非机构化数据。

1.结构化数据:可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储,表现为二维形式的数据,一般特点是:数据以行为单位,一行数据表示一个实体的信息,每一行的数据的属性是相同的。

2.半结构化数据:结构化数据的一种形式,并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构,但包含相关标记,用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有:html,xml和json等、

实际上是以树或者图的结构来存储的。对于半结构化数据,节点中属性的顺序是不重要的,不同的半结构化数据的属性的个数是不一样的。这样的数据格式,可以自由的表达很多有用的信息,包含自描述信息。所以半结构化数据的扩展性很好,特别适合于在互联网中大规模传播。

3.非结构化数据: 就是没有固定的结构。各种文档,图片,视频或者音频都属于非结构化数据。对于这类数据,我们一般直接整体进行存储,而且一般存储为二进制形式。

json数据      

json(JavaScript Object Notation,JS对象标记)是一种轻量级的数据交换格式。基于ECMAScript(w3c制定的JS规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得JSON成为理想的数据交换语言。

特点:易于阅读、易于机器生成、有效提升网络速度。       

JSON语法规则:

在JS语言中,一切都是对象。因此,任何支持的类型都可以通过json来表示。

例如字符串、数字,对象,数组。
Js中对象和数组是比较特殊并且常用的两种类型:

  • 对象表示为键值对{name:'zhangsan',age:'7'}
  • 数据有逗号分隔[1,2,3,4,5]
  • 花括号保存对象
  • 方括号保存数组。

js的对象就相当于python中的字典,js的数组就相当于Python中的列表, 因为json用来存储js的对象或者数组,所以在Python中我们可以将json转化为list或者dict。

解析json的包json:

  • json.dumps(python的list或者dict)---->(返回值)---->json字符串。
  • json.loads(json字符串)------>(返回值)----->python的list或者dict.
  • json.dump(list/dict,fp)—>list,或者字典保存到json文件中。
  • json.load(fp)—>list/dict:从json文件中读出json数据。

json键值对是用来保存js对象的一种方式,和js对象的写法页大同小异,比如:

{“firstName”:“Json”,“Class”:“aid1111”}

等价于下面这条js语句:

{firstName:“Json”,Class:“aid1111”}。

很多人搞不清楚json和js对象的关系,甚至谁是谁都不清楚。其实可以这么理解:

【JSON是JS对象的字符串表达式,他使用文本形式表示一个JS对象的信息,本质是一个字符串。】

var obj = {a:“hello”,b:“World”}

这是一个js对象。注意,键名也是可以用引号包裹的

var json = ' {“a”:“hello”,“b”:“World”}'

这是一个json字符串,本质上是一个字符串。

JSON作为数据包格式传输的时候具有更高的效率,这是因为JSON不想xml那样具有严格的闭合标签,这就让有效数据量与总数据包比大大提升,从而减少同等数据流量的情况下,网络的传输的压力大大减低。

 

这是中国的疫情数据,注意箭头指的地方,这里的data对应的key是字典

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

这是全球疫情,注意这里data对应的是list

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

数据的格式非常重要,因为在后续需要把网页爬取的数据接受之后,还要把数据导入数据库,所以中间数据的格式必须清楚,

比如list类型的可以通过下标去访问,而字典只可以通过name来访问,字典是不提供索引的,所以不可以通过下标访问。还

有就是数据库里的日期格式一定要注意转换再插入。

四、总结一下爬取数据的步骤:

(1)首先需要导入需要的包:

import requests
import pymysql
import time
import json
import traceback

(2)通过request向被爬取网站的url发起一个请求(如果网站有反爬取手段,需要在请求里加上headers)
获取headers:

到指定网站,浏览器按F12,之后在网络那一个选项里可以看到。

Python爬虫爬取全球疫情数据并存储到mysql数据库的步骤

 (3)获取和解析数据

url='https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
headers={'user-agent': 'WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36'}
 
res = requests.get(url, headers=headers)
# print(res.text)
response_data_0 = json.loads(res.text.replace('jQuery34102848205531413024_1584924641755(', '')[:-1]) #转化json对象

这里进行了第一步解析,通过json.loads( ) 方法把从网页获取的json字符串数据转化成Python对应的list或者字典。

如果第一步解析之后data对应的value不是list,那么可以进行第二次解析,本次操作中,世界疫情数据的data对

应的数据是一个list,所以也就不需要进行第二次转化,可以直接通过list的下标去访问。

数据转化是必要的,在网络中json字符串传递小巧安全速度快,但是我们读取数据,如果直接对字符串进行操作

会非常不方便,所以我们需要解析json字符串,也就是通过json.loads()方法把字符串转化成Python对应的list或

者字典对象,这样我们访问操作这些数据会变得简单。

Python 相关文章推荐
浅谈Python数据类型判断及列表脚本操作
Nov 04 Python
Python实现采用进度条实时显示处理进度的方法
Dec 19 Python
Python管理Windows服务小脚本
Mar 12 Python
Django中反向生成models.py的实例讲解
May 30 Python
ORM Django 终端打印 SQL 语句实现解析
Aug 09 Python
简单了解python协程的相关知识
Aug 31 Python
selenium中get_cookies()和add_cookie()的用法详解
Jan 06 Python
Python实现捕获异常发生的文件和具体行数
Apr 25 Python
Python猫眼电影最近上映的电影票房信息
Sep 18 Python
分享一枚pycharm激活码适用所有pycharm版本我的pycharm2020.2.3激活成功
Nov 20 Python
Python urlopen()参数代码示例解析
Dec 10 Python
浅谈盘点5种基于Python生成的个性化语音方法
Feb 05 Python
Python爬虫数据的分类及json数据使用小结
Mar 29 #Python
python re模块和正则表达式
Mar 24 #Python
opencv实现图像几何变换
PyQt QMainWindow的使用示例
Mar 24 #Python
PyQt 如何创建自定义QWidget
Mar 24 #Python
解决python 输出到csv 出现多空行的情况
opencv实现图像平移效果
You might like
用PHP产生动态的影像图
2006/10/09 PHP
php 计算两个时间戳相隔的时间的函数(小时)
2009/12/18 PHP
在PHP中检查PHP文件是否有语法错误的方法
2009/12/23 PHP
使用openssl实现rsa非对称加密算法示例
2014/01/24 PHP
php通过字符串调用函数示例
2014/03/02 PHP
php中eval函数的危害与正确禁用方法
2014/06/30 PHP
swoole和websocket简单聊天室开发
2017/11/18 PHP
laravel框架关于搜索功能的实现
2018/03/15 PHP
Laravel用户授权系统的使用方法示例
2018/09/16 PHP
JavaScript的漂亮的代码片段
2013/06/05 Javascript
js实现仿阿里巴巴城市选择框效果实例
2015/06/24 Javascript
JavaScript实现的XML与JSON互转功能详解
2017/02/16 Javascript
JS对象深度克隆实例分析
2017/03/16 Javascript
使用OPENLAYERS3实现点选的方法
2020/09/24 Javascript
webpack 2的react开发配置实例代码
2017/07/28 Javascript
详解Vue项目中出现Loading chunk {n} failed问题的解决方法
2018/09/14 Javascript
vue 解决移动端弹出键盘导致页面fixed布局错乱的问题
2019/11/06 Javascript
vue实现的封装全局filter并统一管理操作示例
2020/02/02 Javascript
JavaScript单线程和任务队列原理解析
2020/02/04 Javascript
Python2.x与Python3.x的区别
2016/01/14 Python
Python分治法定义与应用实例详解
2017/07/28 Python
特征脸(Eigenface)理论基础之PCA主成分分析法
2018/03/13 Python
python开发准备工作之配置虚拟环境(非常重要)
2019/02/11 Python
python opencv minAreaRect 生成最小外接矩形的方法
2019/07/01 Python
TensorFlow车牌识别完整版代码(含车牌数据集)
2019/08/05 Python
python zip()函数使用方法解析
2019/10/31 Python
pytorch中获取模型input/output shape实例
2019/12/30 Python
Pyqt5 关于流式布局和滚动条的综合使用示例代码
2020/03/24 Python
Python pysnmp使用方法及代码实例
2020/08/24 Python
Django 实现图片上传和下载功能
2020/12/31 Python
Foreo国际站:Foreo International
2018/10/29 全球购物
幼儿园实习生辞职信
2014/01/20 职场文书
《海伦?凯勒》教学反思
2014/04/17 职场文书
项目申请汇报材料
2014/08/16 职场文书
作文评语怎么写
2014/12/25 职场文书
高中班主任工作总结(范文)
2019/08/20 职场文书