python爬取天气数据的实例详解


Posted in Python onNovember 20, 2020

就在前几天还是二十多度的舒适温度,今天一下子就变成了个位数,小编已经感受到冬天寒风的无情了。之前对获取天气都是数据上的搜集,做成了一个数据表后,对温度变化的感知并不直观。那么,我们能不能用python中的方法做一个天气数据分析的图形,帮助我们更直接的看出天气变化呢?

使用pygal绘图,使用该模块前需先安装pip install pygal,然后导入import pygal

bar = pygal.Line() # 创建折线图
bar.add('最低气温', lows)  #添加两线的数据序列
bar.add('最高气温', highs) #注意lows和highs是int型的列表
bar.x_labels = daytimes
bar.x_labels_major = daytimes[::30]
bar.x_label_rotation = 45
bar.title = cityname+'未来七天气温走向图'  #设置图形标题
bar.x_title = '日期'  #x轴标题
bar.y_title = '气温(摄氏度)' # y轴标题
bar.legend_at_bottom = True
bar.show_x_guides = False
bar.show_y_guides = True
bar.render_to_file('temperate1.svg') # 将图像保存为SVG文件,可通过浏览器

最终生成的图形如下图所示,直观的显示了天气情况:

python爬取天气数据的实例详解

完整代码

import csv
import sys
import urllib.request
from bs4 import BeautifulSoup # 解析页面模块
import pygal
import cityinfo
 
cityname = input("请输入你想要查询天气的城市:")
if cityname in cityinfo.city:
  citycode = cityinfo.city[cityname]
else:
  sys.exit()
url = '非常抱歉,网页无法访问' + citycode + '.shtml'
header = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36") # 设置头部信息
http_handler = urllib.request.HTTPHandler()
opener = urllib.request.build_opener(http_handler) # 修改头部信息
opener.addheaders = [header]
request = urllib.request.Request(url) # 制作请求
response = opener.open(request) # 得到应答包
html = response.read() # 读取应答包
html = html.decode('utf-8') # 设置编码,否则会乱码
# 根据得到的页面信息进行初步筛选过滤
final = [] # 初始化一个列表保存数据
bs = BeautifulSoup(html, "html.parser") # 创建BeautifulSoup对象
body = bs.body
data = body.find('div', {'id': '7d'})
print(type(data))
ul = data.find('ul')
li = ul.find_all('li')
# 爬取自己需要的数据
i = 0 # 控制爬取的天数
lows = [] # 保存低温
highs = [] # 保存高温
daytimes = [] # 保存日期
weathers = [] # 保存天气
for day in li: # 便利找到的每一个li
  if i < 7:
    temp = [] # 临时存放每天的数据
    date = day.find('h1').string # 得到日期
    #print(date)
    temp.append(date)
    daytimes.append(date)
    inf = day.find_all('p') # 遍历li下面的p标签 有多个p需要使用find_all 而不是find
    #print(inf[0].string) # 提取第一个p标签的值,即天气
    temp.append(inf[0].string)
    weathers.append(inf[0].string)
    temlow = inf[1].find('i').string # 最低气温
    if inf[1].find('span') is None: # 天气预报可能没有最高气温
      temhigh = None
      temperate = temlow
    else:
      temhigh = inf[1].find('span').string # 最高气温
      temhigh = temhigh.replace('℃', '')
      temperate = temhigh + '/' + temlow
    # temp.append(temhigh)
    # temp.append(temlow)
    lowStr = ""
    lowStr = lowStr.join(temlow.string)
    lows.append(int(lowStr[:-1])) # 以上三行将低温NavigableString转成int类型并存入低温列表
    if temhigh is None:
      highs.append(int(lowStr[:-1]))
      highStr = ""
      highStr = highStr.join(temhigh)
      highs.append(int(highStr)) # 以上三行将高温NavigableString转成int类型并存入高温列表
    temp.append(temperate)
    final.append(temp)
    i = i + 1
# 将最终的获取的天气写入csv文件
with open('weather.csv', 'a', errors='ignore', newline='') as f:
  f_csv = csv.writer(f)
  f_csv.writerows([cityname])
  f_csv.writerows(final)
# 绘图
bar = pygal.Line() # 创建折线图
bar.add('最低气温', lows)
bar.add('最高气温', highs)
bar.x_labels = daytimes
bar.x_labels_major = daytimes[::30]
# bar.show_minor_x_labels = False # 不显示X轴最小刻度
bar.x_label_rotation = 45
bar.title = cityname+'未来七天气温走向图'
bar.x_title = '日期'
bar.y_title = '气温(摄氏度)'
bar.legend_at_bottom = True
bar.show_x_guides = False
bar.show_y_guides = True
bar.render_to_file('temperate.svg')

Python爬取天气数据实例扩展:

import requests
from bs4 import BeautifulSoup
from pyecharts import Bar

ALL_DATA = []
def send_parse_urls(start_urls):
  headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36"
  }
  for start_url in start_urls:
    response = requests.get(start_url,headers=headers)
    # 编码问题的解决
    response = response.text.encode("raw_unicode_escape").decode("utf-8")
    soup = BeautifulSoup(response,"html5lib") #lxml解析器:性能比较好,html5lib:适合页面结构比较混乱的
    div_tatall = soup.find("div",class_="conMidtab") #find() 找符合要求的第一个元素
    tables = div_tatall.find_all("table") #find_all() 找到符合要求的所有元素的列表
    for table in tables:
      trs = table.find_all("tr")
      info_trs = trs[2:]
      for index,info_tr in enumerate(info_trs): # 枚举函数,可以获得索引
        # print(index,info_tr)
        # print("="*30)
        city_td = info_tr.find_all("td")[0]
        temp_td = info_tr.find_all("td")[6]
        # if的判断的index的特殊情况应该在一般情况的后面,把之前的数据覆盖
        if index==0:
          city_td = info_tr.find_all("td")[1]
          temp_td = info_tr.find_all("td")[7]
        city=list(city_td.stripped_strings)[0]
        temp=list(temp_td.stripped_strings)[0]
        ALL_DATA.append({"city":city,"temp":temp})
  return ALL_DATA

def get_start_urls():
  start_urls = [
    "http://www.weather.com.cn/textFC/hb.shtml",
    "http://www.weather.com.cn/textFC/db.shtml",
    "http://www.weather.com.cn/textFC/hd.shtml",
    "http://www.weather.com.cn/textFC/hz.shtml",
    "http://www.weather.com.cn/textFC/hn.shtml",
    "http://www.weather.com.cn/textFC/xb.shtml",
    "http://www.weather.com.cn/textFC/xn.shtml",
    "http://www.weather.com.cn/textFC/gat.shtml",
  ]
  return start_urls

def main():
  """
  主程序逻辑
  展示全国实时温度最低的十个城市气温排行榜的柱状图
  """
  # 1 获取所有起始url
  start_urls = get_start_urls()
  # 2 发送请求获取响应、解析页面
  data = send_parse_urls(start_urls)
  # print(data)
  # 4 数据可视化
    #1排序
  data.sort(key=lambda data:int(data["temp"]))
    #2切片,选择出温度最低的十个城市和温度值
  show_data = data[:10]
    #3分出城市和温度
  city = list(map(lambda data:data["city"],show_data))
  temp = list(map(lambda data:int(data["temp"]),show_data))
    #4创建柱状图、生成目标图
  chart = Bar("中国最低气温排行榜") #需要安装pyechart模块
  chart.add("",city,temp)
  chart.render("tempture.html")

if __name__ == '__main__':
  main()

到此这篇关于python爬取天气数据的实例详解的文章就介绍到这了,更多相关python爬虫天气数据的分析内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
零基础学Python(一)Python环境安装
Aug 20 Python
python实现对一个完整url进行分割的方法
Apr 29 Python
详解Python中的静态方法与类成员方法
Feb 28 Python
Python实现查找二叉搜索树第k大的节点功能示例
Jan 24 Python
详解python运行三种方式
May 13 Python
python 实现查找文件并输出满足某一条件的数据项方法
Jun 12 Python
python中用logging实现日志滚动和过期日志删除功能
Aug 20 Python
从numpy数组中取出满足条件的元素示例
Nov 26 Python
利用Python脚本实现自动刷网课
Feb 03 Python
jupyter 中文乱码设置编码格式 避免控制台输出的解决
Apr 20 Python
浅析Python面向对象编程
Jul 10 Python
python 下划线的不同用法
Oct 24 Python
python爬取招聘要求等信息实例
Nov 20 #Python
python爬虫判断招聘信息是否存在的实例代码
Nov 20 #Python
Python getsizeof()和getsize()区分详解
Nov 20 #Python
Python析构函数__del__定义原理解析
Nov 20 #Python
Python request post上传文件常见要点
Nov 20 #Python
接口自动化多层嵌套json数据处理代码实例
Nov 20 #Python
如何设置PyCharm中的Python代码模版(推荐)
Nov 20 #Python
You might like
PHP 字符串分割和比较
2009/10/06 PHP
什么是PHP7中的孤儿进程与僵尸进程
2019/04/14 PHP
PHP实现字符串的全排列详解
2019/04/24 PHP
javascript 短路法代码精简
2009/08/20 Javascript
简单实例处理url特殊符号&amp;处理(2种方法)
2013/04/02 Javascript
JS获取地址栏参数的小例子
2013/08/23 Javascript
jquery自动切换tabs选项卡的具体实现
2013/12/24 Javascript
jquery实现的仿天猫侧导航tab切换效果
2015/08/24 Javascript
完美解决jQuery 鼠标快速滑过后,会执行多次滑出的问题
2016/12/08 Javascript
微信小程序 数据封装,参数传值等经验分享
2017/01/09 Javascript
javascript history对象详解
2017/02/09 Javascript
微信小程序动态添加分享数据
2017/06/14 Javascript
nodejs 子进程正确的打开方式
2017/07/03 NodeJs
浅谈在Vue-cli里基于axios封装复用请求
2017/11/06 Javascript
对Angular中单向数据流的深入理解
2018/03/31 Javascript
通过JavaScript下载文件到本地的方法(单文件)
2019/03/17 Javascript
js实现简易点击切换显示或隐藏
2020/11/29 Javascript
Eclipse + Python 的安装与配置流程
2013/03/05 Python
python刷投票的脚本实现代码
2014/11/08 Python
python定时执行指定函数的方法
2015/05/27 Python
老生常谈Python基础之字符编码
2017/06/14 Python
对变量赋值的理解--Pyton中让两个值互换的实现方法
2017/11/29 Python
详解Python3 基本数据类型
2019/04/19 Python
CSS3的一个简单导航栏实现
2015/08/03 HTML / CSS
英国知名的皮手套品牌:Dents
2016/11/13 全球购物
.net面试题
2016/09/17 面试题
计算机本科生自荐信
2013/10/15 职场文书
公司培训欢迎词
2014/01/10 职场文书
双创工作实施方案
2014/03/26 职场文书
2014年小学图书室工作总结
2014/12/09 职场文书
2016年春季开学典礼新闻稿
2015/11/25 职场文书
2016感恩父亲节主题广播稿
2015/12/18 职场文书
利用Java设置Word文本框中的文字旋转方向的实现方法
2021/06/28 Java/Android
我去timi了,一起去timi是什么意思?
2022/04/13 杂记
SpringBoot 集成短信和邮件 以阿里云短信服务为例
2022/04/22 Java/Android
PyCharm 配置SSH和SFTP连接远程服务器
2022/05/11 Python