用python爬取历史天气数据的方法示例


Posted in Python onDecember 30, 2019

某天气网站(www.数字.com)存有2011年至今的天气数据,有天看到一本爬虫教材提到了爬取这些数据的方法,学习之,并加以改进。

用python爬取历史天气数据的方法示例

准备爬的历史天气

爬之前先分析url。左上有年份、月份的下拉选择框,按F12,进去看看能否找到真正的url:

用python爬取历史天气数据的方法示例

很容易就找到了,左边是储存月度数据的js文件,右边是文件源代码,貌似json格式。

双击左边js文件,地址栏内出现了url:http://tianqi.数字.com/t/wea_history/js/54511_20161.js

url中的“54511”是城市代码,“20161”是年份和月份代码。下一步就是找到城市代码列表,按城市+年份+月份构造url列表,就能开始遍历爬取了。

城市代码也很诚实,很快就找到了:

用python爬取历史天气数据的方法示例

下一步得把城市名称和代码提取出来,构造一个“城市名称:城市代码”的字典,或者由元组(城市名称,城市代码)组成的列表,供爬取时遍历。考虑到正则提取时,构造元组更便捷,就不做成字典了。

def getCity():
  html = reqs.get('https://tianqi.2345.com/js/citySelectData.js').content
  text = html.decode('gbk')
  city = re.findall('([1-5]\d{4})\-[A-Z]\s(.*?)\-\d{5}',text)  #只提取了地级市及以上城市的名称和代码,5以上的是县级市  
  city = list(set(city))                    #去掉重复城市数据
  print('城市列表获取成功')
  return city

接下来是构造url列表,感谢教材主编的提醒,这里避免了一个大坑。原来2017年之前的url结构和后面的不一样,在这里照搬了主编的构造方法:

def getUrls(cityCode):
  urls = []
  for year in range(2011,2020):
    if year <= 2016:
      for month in range(1, 13):
        urls.append('https://tianqi.数字.com/t/wea_history/js/%s_%s%s.js' % (cityCode,year, month))
    else:
      for month in range(1,13):
        if month<10:
          urls.append('https://tianqi.数字.com/t/wea_history/js/%s0%s/%s_%s0%s.js' %(year,month,cityCode,year,month))          
        else:
          urls.append('https://tianqi.数字.com/t/wea_history/js/%s%s/%s_%s%s.js' %(year,month,cityCode,year,month))
  return urls

接下来定义一个爬取页面的函数getHtml(),这个是常规操作,用requests模块就行了:

def getHtml(url):
  header = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1',
       'Referer': '******'}
  request = reqs.get(url,headers = header)
  text = request.content.decode('gbk') #经试解析,这里得用gbk模式
  time.sleep(random.randint(1,3))    #随机暂停,减轻服务器压力
  return text

然后就是重点部分了,数据解析与提取。

试了试json解析,发现效果不好,因为页面文本里面含杂质。

还是用正则表达式吧,能够提取有效数据,尽可能少浪费机器时间。

2016年开始的数据和之前年份不一样,多了PM2.5污染物情况,因此构造正则表达式时,还不能用偷懒模式。

str1 = "{ymd:'(.*?)',bWendu:'(.*?)℃',yWendu:'(.*?)℃',tianqi:'(.*?)',fengxiang:'(.*?)',fengli:'(.*?)',aqi:'(.*?)',aqiInfo:'(.*?)',aqiLevel:'(.*?)'.*?}"
str2 = "{ymd:'(.*?)',bWendu:'(.*?)℃',yWendu:'(.*?)℃',tianqi:'(.*?)',fengxiang:'(.*?)',fengli:'(.*?)'.*?}"
 
#这个就是偷懒模式,取出来的内容直接存入元组中

如果严格以2016年为界,用一下偷懒模式还行,但本人在这里遇坑了,原来个别城市的污染物信息是时有时无的,搞不清在某年某月的某天就出现了,因此还得构造一个通用版的,把数据都提出来,再把无用的字符去掉。

def getDf(url):  
  html = getHtml(url)
  pa = re.compile(r'{(ymd.+?)}')           #用'{ymd'打头,把不是每日天气的其它数据忽略掉
  text = re.findall(pa,html)
  list0 = []
  for item in text:
    s = item.split(',')              #分割成每日数据
    d = [i.split(':') for i in s]         #提取冒号前后的数据名称和数据值
    t = {k:v.strip("'").strip('℃') for k,v in d} #用数据名称和数据值构造字典   
    list0.append(t)
  df = pd.DataFrame(list0)              #加入pandas列表中,便于保存
  return df

数据的保存,这里选择了sqlite3轻便型数据库,可以保存成db文件:

def work(city,url):
  con =sql.connect('d:\\天气.db') 
  try:
    df = getDf(url)
    df.insert(0,'城市名称',city)                #新增一列城市名称
    df.to_sql('total', con, if_exists='append', index=False) 
    print(url,'下载完成')    
  except Exception as e:
    print("出现错误:\n",e)
  finally:
    con.commit()
    con.close()

在这里还有一个小坑,第一次连接数据库文件时,如果文件不存在,会自动添加,后续在写入数据时,如果数据中新增了字段,写入时会报错。可以先把数据库文件字段都设置好,但这样太累,所以本人又搞了个偷懒的方式,即先传入一个2019年某月的单个url搞一下,自动添加好字段,后面再写入时就没问题了。本人觉得这个应该还有更佳的解决办法,目前还在挖掘中。

数据保存后的状态如下:

 用python爬取历史天气数据的方法示例

本来考虑过用多线程爬虫,想想又觉得既然人家没有设置反爬措施,咱们也不能太不厚道了,就单线程吧。

最终爬了334个城市,100多万条数据。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
linux环境下安装pyramid和新建项目的步骤
Nov 27 Python
python相似模块用例
Mar 04 Python
Python使用matplotlib绘制正弦和余弦曲线的方法示例
Jan 06 Python
python使用logging模块发送邮件代码示例
Jan 18 Python
Python高级特性切片(Slice)操作详解
Sep 27 Python
Django框架使用内置方法实现登录功能详解
Jun 12 Python
详解使用Python下载文件的几种方法
Oct 13 Python
django中media媒体路径设置的步骤
Nov 15 Python
python实现遍历文件夹图片并重命名
Mar 23 Python
Python爬虫过程解析之多线程获取小米应用商店数据
Nov 14 Python
pytorch __init__、forward与__call__的用法小结
Feb 27 Python
浅析Python OpenCV三种滤镜效果
Apr 11 Python
pytorch 自定义卷积核进行卷积操作方式
Dec 30 #Python
PyTorch中反卷积的用法详解
Dec 30 #Python
python使用正则表达式(Regular Expression)方法超详细
Dec 30 #Python
Pytorch实现各种2d卷积示例
Dec 30 #Python
Python面向对象之多态原理与用法案例分析
Dec 30 #Python
Pytoch之torchvision.transforms图像变换实例
Dec 30 #Python
python面向对象之类属性和类方法案例分析
Dec 30 #Python
You might like
《逃离塔科夫》——“萌新劝退,老手自嗨”的硬核FPS游戏
2020/04/03 其他游戏
PHP中的类-什么叫类
2006/11/20 PHP
在项目中寻找代码的坏命名
2012/07/14 PHP
php实现快速排序法函数代码
2012/08/27 PHP
php弹出提示框的是实例写法
2019/09/26 PHP
js继承 Base类的源码解析
2008/12/30 Javascript
RGB颜色值转HTML十六进制(HEX)代码的JS函数
2009/04/25 Javascript
jQuery 解析xml文件
2009/08/09 Javascript
海量经典的jQuery插件集合
2010/01/12 Javascript
js 获取Listbox选择的值的代码
2010/04/15 Javascript
Javascript 鼠标移动上去小三角形滑块缓慢跟随效果
2013/04/26 Javascript
用js代码改变单选框选中状态的简单实例
2013/12/18 Javascript
jquery对元素拖动排序示例
2014/01/16 Javascript
javascript实现des解密加密全过程
2014/04/03 Javascript
javaScript中Math()函数注意事项
2015/06/18 Javascript
JS重载实现方法分析
2016/12/16 Javascript
实例解析js中try、catch、finally的执行规则
2017/02/24 Javascript
jquery 手势密码插件
2017/03/17 Javascript
for循环 + setTimeout 结合一些示例(前端面试题)
2017/08/30 Javascript
对vue中v-if的常见使用方法详解
2018/09/28 Javascript
webpack dll打包重复问题优化的解决
2018/10/10 Javascript
详解vue父子组件关于模态框状态的绑定方案
2019/06/05 Javascript
countUp.js实现数字滚动效果
2019/10/18 Javascript
tracking.js实现前端人脸识别功能
2020/04/16 Javascript
python获取外网ip地址的方法总结
2015/07/02 Python
Python编程django实现同一个ip十分钟内只能注册一次
2017/11/03 Python
Python获取指定文件夹下的文件名的方法
2018/02/06 Python
详解Pytorch 使用Pytorch拟合多项式(多项式回归)
2018/05/24 Python
python中从for循环延申到推导式的具体使用
2019/11/29 Python
Python图像处理库PIL中图像格式转换的实现
2020/02/26 Python
打架检讨书500字
2014/01/29 职场文书
食品采购员岗位职责
2014/04/14 职场文书
质量管理标语
2014/06/12 职场文书
就业意向书
2014/07/29 职场文书
有子女的离婚协议书怎么写(范本)
2014/09/29 职场文书
毕业生入职感言
2015/07/31 职场文书