用python爬取历史天气数据的方法示例


Posted in Python onDecember 30, 2019

某天气网站(www.数字.com)存有2011年至今的天气数据,有天看到一本爬虫教材提到了爬取这些数据的方法,学习之,并加以改进。

用python爬取历史天气数据的方法示例

准备爬的历史天气

爬之前先分析url。左上有年份、月份的下拉选择框,按F12,进去看看能否找到真正的url:

用python爬取历史天气数据的方法示例

很容易就找到了,左边是储存月度数据的js文件,右边是文件源代码,貌似json格式。

双击左边js文件,地址栏内出现了url:http://tianqi.数字.com/t/wea_history/js/54511_20161.js

url中的“54511”是城市代码,“20161”是年份和月份代码。下一步就是找到城市代码列表,按城市+年份+月份构造url列表,就能开始遍历爬取了。

城市代码也很诚实,很快就找到了:

用python爬取历史天气数据的方法示例

下一步得把城市名称和代码提取出来,构造一个“城市名称:城市代码”的字典,或者由元组(城市名称,城市代码)组成的列表,供爬取时遍历。考虑到正则提取时,构造元组更便捷,就不做成字典了。

def getCity():
  html = reqs.get('https://tianqi.2345.com/js/citySelectData.js').content
  text = html.decode('gbk')
  city = re.findall('([1-5]\d{4})\-[A-Z]\s(.*?)\-\d{5}',text)  #只提取了地级市及以上城市的名称和代码,5以上的是县级市  
  city = list(set(city))                    #去掉重复城市数据
  print('城市列表获取成功')
  return city

接下来是构造url列表,感谢教材主编的提醒,这里避免了一个大坑。原来2017年之前的url结构和后面的不一样,在这里照搬了主编的构造方法:

def getUrls(cityCode):
  urls = []
  for year in range(2011,2020):
    if year <= 2016:
      for month in range(1, 13):
        urls.append('https://tianqi.数字.com/t/wea_history/js/%s_%s%s.js' % (cityCode,year, month))
    else:
      for month in range(1,13):
        if month<10:
          urls.append('https://tianqi.数字.com/t/wea_history/js/%s0%s/%s_%s0%s.js' %(year,month,cityCode,year,month))          
        else:
          urls.append('https://tianqi.数字.com/t/wea_history/js/%s%s/%s_%s%s.js' %(year,month,cityCode,year,month))
  return urls

接下来定义一个爬取页面的函数getHtml(),这个是常规操作,用requests模块就行了:

def getHtml(url):
  header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',
       'Referer': '******'}
  request = reqs.get(url,headers = header)
  text = request.content.decode('gbk') #经试解析,这里得用gbk模式
  time.sleep(random.randint(1,3))    #随机暂停,减轻服务器压力
  return text

然后就是重点部分了,数据解析与提取。

试了试json解析,发现效果不好,因为页面文本里面含杂质。

还是用正则表达式吧,能够提取有效数据,尽可能少浪费机器时间。

2016年开始的数据和之前年份不一样,多了PM2.5污染物情况,因此构造正则表达式时,还不能用偷懒模式。

str1 = "{ymd:'(.*?)',bWendu:'(.*?)℃',yWendu:'(.*?)℃',tianqi:'(.*?)',fengxiang:'(.*?)',fengli:'(.*?)',aqi:'(.*?)',aqiInfo:'(.*?)',aqiLevel:'(.*?)'.*?}"
str2 = "{ymd:'(.*?)',bWendu:'(.*?)℃',yWendu:'(.*?)℃',tianqi:'(.*?)',fengxiang:'(.*?)',fengli:'(.*?)'.*?}"
 
#这个就是偷懒模式,取出来的内容直接存入元组中

如果严格以2016年为界,用一下偷懒模式还行,但本人在这里遇坑了,原来个别城市的污染物信息是时有时无的,搞不清在某年某月的某天就出现了,因此还得构造一个通用版的,把数据都提出来,再把无用的字符去掉。

def getDf(url):  
  html = getHtml(url)
  pa = re.compile(r'{(ymd.+?)}')           #用'{ymd'打头,把不是每日天气的其它数据忽略掉
  text = re.findall(pa,html)
  list0 = []
  for item in text:
    s = item.split(',')              #分割成每日数据
    d = [i.split(':') for i in s]         #提取冒号前后的数据名称和数据值
    t = {k:v.strip("'").strip('℃') for k,v in d} #用数据名称和数据值构造字典   
    list0.append(t)
  df = pd.DataFrame(list0)              #加入pandas列表中,便于保存
  return df

数据的保存,这里选择了sqlite3轻便型数据库,可以保存成db文件:

def work(city,url):
  con =sql.connect('d:\\天气.db') 
  try:
    df = getDf(url)
    df.insert(0,'城市名称',city)                #新增一列城市名称
    df.to_sql('total', con, if_exists='append', index=False) 
    print(url,'下载完成')    
  except Exception as e:
    print("出现错误:\n",e)
  finally:
    con.commit()
    con.close()

在这里还有一个小坑,第一次连接数据库文件时,如果文件不存在,会自动添加,后续在写入数据时,如果数据中新增了字段,写入时会报错。可以先把数据库文件字段都设置好,但这样太累,所以本人又搞了个偷懒的方式,即先传入一个2019年某月的单个url搞一下,自动添加好字段,后面再写入时就没问题了。本人觉得这个应该还有更佳的解决办法,目前还在挖掘中。

数据保存后的状态如下:

 用python爬取历史天气数据的方法示例

本来考虑过用多线程爬虫,想想又觉得既然人家没有设置反爬措施,咱们也不能太不厚道了,就单线程吧。

最终爬了334个城市,100多万条数据。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过apply使用元祖和列表调用函数实例
May 26 Python
Python中使用OpenCV库来进行简单的气象学遥感影像计算
Feb 19 Python
Python环境下搭建属于自己的pip源的教程
May 05 Python
Python基于正则表达式实现文件内容替换的方法
Aug 30 Python
Python中django学习心得
Dec 06 Python
解决python3中解压zip文件是文件名乱码的问题
Mar 22 Python
利用python提取wav文件的mfcc方法
Jan 09 Python
Python3.4学习笔记之 idle 清屏扩展插件用法分析
Mar 01 Python
pytorch numpy list类型之间的相互转换实例
Aug 18 Python
python scipy卷积运算的实现方法
Sep 16 Python
Anconda环境下Vscode安装Python的方法详解
Mar 29 Python
Python HTMLTestRunner库安装过程解析
May 25 Python
pytorch 自定义卷积核进行卷积操作方式
Dec 30 #Python
PyTorch中反卷积的用法详解
Dec 30 #Python
python使用正则表达式(Regular Expression)方法超详细
Dec 30 #Python
Pytorch实现各种2d卷积示例
Dec 30 #Python
Python面向对象之多态原理与用法案例分析
Dec 30 #Python
Pytoch之torchvision.transforms图像变换实例
Dec 30 #Python
python面向对象之类属性和类方法案例分析
Dec 30 #Python
You might like
一些常用的php简单命令代码集锦
2007/09/24 PHP
php session_start()关于Cannot send session cache limiter - headers already sent错误解决方法
2009/11/27 PHP
PHP MySQL应用中使用XOR运算加密算法分享
2011/08/28 PHP
php类中的$this,static,final,const,self这几个关键字使用方法
2015/12/14 PHP
必须收藏的23个php实用代码片段
2016/02/02 PHP
ThinkPHP使用Smarty第三方插件方法小结
2016/03/19 PHP
PHP Smarty模版简单使用方法
2016/03/30 PHP
PHP反射API示例分享
2016/10/08 PHP
PHP session垃圾回收机制实例分析
2019/06/28 PHP
打开超链需要“确认”对话框的方法
2007/03/08 Javascript
用js实现的仿sohu博客更换页面风格(简单版)
2007/03/22 Javascript
jQuery实现网站添加高亮突出显示效果的方法
2015/06/26 Javascript
基于jQuery实现返回顶部实例代码
2016/01/01 Javascript
js实现prototype扩展的方法(字符串,日期,数组扩展)
2016/01/14 Javascript
基于javascript实现九宫格大转盘效果
2020/05/28 Javascript
JavaScript中清空数组的方法总结
2016/12/02 Javascript
js轮播图透明度切换(带上下页和底部圆点切换)
2017/04/27 Javascript
nodejs结合Socket.IO实现的即时通讯功能详解
2018/01/12 NodeJs
总结JavaScript在IE9之前版本中内存泄露问题
2018/04/28 Javascript
安装vue-cli的简易过程
2018/05/22 Javascript
从零到一详聊创建Vue工程及遇到的常见问题
2019/04/25 Javascript
微信小程序拼接图片链接无底洞深入探究
2019/09/03 Javascript
基于Python如何使用AIML搭建聊天机器人
2016/01/27 Python
python保存网页图片到本地的方法
2018/07/24 Python
如何使用Python进行OCR识别图片中的文字
2019/04/01 Python
pandas实现将dataframe满足某一条件的值选出
2019/06/12 Python
python 线性回归分析模型检验标准--拟合优度详解
2020/02/24 Python
IE9对HTML5中部分属性不支持的原因分析
2014/10/15 HTML / CSS
求职者简历中的自我评价
2013/10/20 职场文书
车间班组长岗位职责
2013/11/13 职场文书
人力资源部培训专员岗位职责
2014/01/02 职场文书
致跳高运动员广播稿
2014/01/13 职场文书
安全生产工作汇报材料
2014/10/28 职场文书
后备干部推荐材料
2014/12/24 职场文书
地道战观后感
2015/06/04 职场文书
Python如何识别银行卡卡号?
2021/06/10 Python