python爬取天气数据的实例详解


Posted in Python onNovember 20, 2020

就在前几天还是二十多度的舒适温度,今天一下子就变成了个位数,小编已经感受到冬天寒风的无情了。之前对获取天气都是数据上的搜集,做成了一个数据表后,对温度变化的感知并不直观。那么,我们能不能用python中的方法做一个天气数据分析的图形,帮助我们更直接的看出天气变化呢?

使用pygal绘图,使用该模块前需先安装pip install pygal,然后导入import pygal

bar = pygal.Line() # 创建折线图
bar.add('最低气温', lows)  #添加两线的数据序列
bar.add('最高气温', highs) #注意lows和highs是int型的列表
bar.x_labels = daytimes
bar.x_labels_major = daytimes[::30]
bar.x_label_rotation = 45
bar.title = cityname+'未来七天气温走向图'  #设置图形标题
bar.x_title = '日期'  #x轴标题
bar.y_title = '气温(摄氏度)' # y轴标题
bar.legend_at_bottom = True
bar.show_x_guides = False
bar.show_y_guides = True
bar.render_to_file('temperate1.svg') # 将图像保存为SVG文件,可通过浏览器

最终生成的图形如下图所示,直观的显示了天气情况:

python爬取天气数据的实例详解

完整代码

import csv
import sys
import urllib.request
from bs4 import BeautifulSoup # 解析页面模块
import pygal
import cityinfo
 
cityname = input("请输入你想要查询天气的城市:")
if cityname in cityinfo.city:
  citycode = cityinfo.city[cityname]
else:
  sys.exit()
url = '非常抱歉,网页无法访问' + citycode + '.shtml'
header = ("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36") # 设置头部信息
http_handler = urllib.request.HTTPHandler()
opener = urllib.request.build_opener(http_handler) # 修改头部信息
opener.addheaders = [header]
request = urllib.request.Request(url) # 制作请求
response = opener.open(request) # 得到应答包
html = response.read() # 读取应答包
html = html.decode('utf-8') # 设置编码,否则会乱码
# 根据得到的页面信息进行初步筛选过滤
final = [] # 初始化一个列表保存数据
bs = BeautifulSoup(html, "html.parser") # 创建BeautifulSoup对象
body = bs.body
data = body.find('div', {'id': '7d'})
print(type(data))
ul = data.find('ul')
li = ul.find_all('li')
# 爬取自己需要的数据
i = 0 # 控制爬取的天数
lows = [] # 保存低温
highs = [] # 保存高温
daytimes = [] # 保存日期
weathers = [] # 保存天气
for day in li: # 便利找到的每一个li
  if i < 7:
    temp = [] # 临时存放每天的数据
    date = day.find('h1').string # 得到日期
    #print(date)
    temp.append(date)
    daytimes.append(date)
    inf = day.find_all('p') # 遍历li下面的p标签 有多个p需要使用find_all 而不是find
    #print(inf[0].string) # 提取第一个p标签的值,即天气
    temp.append(inf[0].string)
    weathers.append(inf[0].string)
    temlow = inf[1].find('i').string # 最低气温
    if inf[1].find('span') is None: # 天气预报可能没有最高气温
      temhigh = None
      temperate = temlow
    else:
      temhigh = inf[1].find('span').string # 最高气温
      temhigh = temhigh.replace('℃', '')
      temperate = temhigh + '/' + temlow
    # temp.append(temhigh)
    # temp.append(temlow)
    lowStr = ""
    lowStr = lowStr.join(temlow.string)
    lows.append(int(lowStr[:-1])) # 以上三行将低温NavigableString转成int类型并存入低温列表
    if temhigh is None:
      highs.append(int(lowStr[:-1]))
      highStr = ""
      highStr = highStr.join(temhigh)
      highs.append(int(highStr)) # 以上三行将高温NavigableString转成int类型并存入高温列表
    temp.append(temperate)
    final.append(temp)
    i = i + 1
# 将最终的获取的天气写入csv文件
with open('weather.csv', 'a', errors='ignore', newline='') as f:
  f_csv = csv.writer(f)
  f_csv.writerows([cityname])
  f_csv.writerows(final)
# 绘图
bar = pygal.Line() # 创建折线图
bar.add('最低气温', lows)
bar.add('最高气温', highs)
bar.x_labels = daytimes
bar.x_labels_major = daytimes[::30]
# bar.show_minor_x_labels = False # 不显示X轴最小刻度
bar.x_label_rotation = 45
bar.title = cityname+'未来七天气温走向图'
bar.x_title = '日期'
bar.y_title = '气温(摄氏度)'
bar.legend_at_bottom = True
bar.show_x_guides = False
bar.show_y_guides = True
bar.render_to_file('temperate.svg')

Python爬取天气数据实例扩展:

import requests
from bs4 import BeautifulSoup
from pyecharts import Bar

ALL_DATA = []
def send_parse_urls(start_urls):
  headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36"
  }
  for start_url in start_urls:
    response = requests.get(start_url,headers=headers)
    # 编码问题的解决
    response = response.text.encode("raw_unicode_escape").decode("utf-8")
    soup = BeautifulSoup(response,"html5lib") #lxml解析器:性能比较好,html5lib:适合页面结构比较混乱的
    div_tatall = soup.find("div",class_="conMidtab") #find() 找符合要求的第一个元素
    tables = div_tatall.find_all("table") #find_all() 找到符合要求的所有元素的列表
    for table in tables:
      trs = table.find_all("tr")
      info_trs = trs[2:]
      for index,info_tr in enumerate(info_trs): # 枚举函数,可以获得索引
        # print(index,info_tr)
        # print("="*30)
        city_td = info_tr.find_all("td")[0]
        temp_td = info_tr.find_all("td")[6]
        # if的判断的index的特殊情况应该在一般情况的后面,把之前的数据覆盖
        if index==0:
          city_td = info_tr.find_all("td")[1]
          temp_td = info_tr.find_all("td")[7]
        city=list(city_td.stripped_strings)[0]
        temp=list(temp_td.stripped_strings)[0]
        ALL_DATA.append({"city":city,"temp":temp})
  return ALL_DATA

def get_start_urls():
  start_urls = [
    "http://www.weather.com.cn/textFC/hb.shtml",
    "http://www.weather.com.cn/textFC/db.shtml",
    "http://www.weather.com.cn/textFC/hd.shtml",
    "http://www.weather.com.cn/textFC/hz.shtml",
    "http://www.weather.com.cn/textFC/hn.shtml",
    "http://www.weather.com.cn/textFC/xb.shtml",
    "http://www.weather.com.cn/textFC/xn.shtml",
    "http://www.weather.com.cn/textFC/gat.shtml",
  ]
  return start_urls

def main():
  """
  主程序逻辑
  展示全国实时温度最低的十个城市气温排行榜的柱状图
  """
  # 1 获取所有起始url
  start_urls = get_start_urls()
  # 2 发送请求获取响应、解析页面
  data = send_parse_urls(start_urls)
  # print(data)
  # 4 数据可视化
    #1排序
  data.sort(key=lambda data:int(data["temp"]))
    #2切片,选择出温度最低的十个城市和温度值
  show_data = data[:10]
    #3分出城市和温度
  city = list(map(lambda data:data["city"],show_data))
  temp = list(map(lambda data:int(data["temp"]),show_data))
    #4创建柱状图、生成目标图
  chart = Bar("中国最低气温排行榜") #需要安装pyechart模块
  chart.add("",city,temp)
  chart.render("tempture.html")

if __name__ == '__main__':
  main()

到此这篇关于python爬取天气数据的实例详解的文章就介绍到这了,更多相关python爬虫天气数据的分析内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
深入解析Python中函数的参数与作用域
Mar 20 Python
基于Python实现对PDF文件的OCR识别
Aug 05 Python
django2 快速安装指南分享
Jan 05 Python
PyQt5实现拖放功能
Apr 25 Python
flask框架使用orm连接数据库的方法示例
Jul 16 Python
Python中的取模运算方法
Nov 10 Python
对Python信号处理模块signal详解
Jan 09 Python
python使用opencv对图像mask处理的方法
Jul 05 Python
基于Python的微信机器人开发 微信登录和获取好友列表实现解析
Aug 21 Python
Python进程Multiprocessing模块原理解析
Feb 28 Python
Python通用唯一标识符uuid模块使用案例
Sep 10 Python
Python的轻量级ORM框架peewee使用教程
Feb 05 Python
python爬取招聘要求等信息实例
Nov 20 #Python
python爬虫判断招聘信息是否存在的实例代码
Nov 20 #Python
Python getsizeof()和getsize()区分详解
Nov 20 #Python
Python析构函数__del__定义原理解析
Nov 20 #Python
Python request post上传文件常见要点
Nov 20 #Python
接口自动化多层嵌套json数据处理代码实例
Nov 20 #Python
如何设置PyCharm中的Python代码模版(推荐)
Nov 20 #Python
You might like
THINKPHP支持YAML配置文件的设置方法
2015/03/17 PHP
PHP Ajax实现无刷新附件上传
2016/08/17 PHP
IE6下通过a标签点击切换图片的问题
2010/11/14 Javascript
百度移动版的url编码解码示例
2014/04/29 Javascript
JQuery实现鼠标滚轮滑动到页面节点
2015/07/28 Javascript
javascript中加var和不加var的区别 你真的懂吗
2016/01/06 Javascript
微信小程序 页面传参实例详解
2016/11/16 Javascript
js下载文件并修改文件名
2017/05/08 Javascript
jQuery实现可编辑表格并生成json结果(实例代码)
2017/07/19 jQuery
es6+angular1.X+webpack 实现按路由功能打包项目的示例
2017/08/16 Javascript
AngularJS中ng-options实现下拉列表的数据绑定方法
2018/08/13 Javascript
微信小程序五子棋游戏的棋盘,重置,对弈实现方法【附demo源码下载】
2019/02/20 Javascript
一看就会的vuex实现登录验证(附案例)
2020/01/09 Javascript
js+canvas实现刮刮奖功能
2020/09/13 Javascript
原生js实现自定义滚动条组件
2021/01/20 Javascript
django实现分页的方法
2015/05/26 Python
在Django中编写模版节点及注册标签的方法
2015/07/20 Python
python监控文件或目录变化
2016/06/07 Python
python递归打印某个目录的内容(实例讲解)
2017/08/30 Python
Python探索之URL Dispatcher实例详解
2017/10/28 Python
Tensorflow 实现修改张量特定元素的值方法
2018/07/30 Python
python 中文件输入输出及os模块对文件系统的操作方法
2018/08/27 Python
pyqt5中QThread在使用时出现重复emit的实例
2019/06/21 Python
HTML5 canvas基本绘图之图形组合
2016/06/27 HTML / CSS
英国儿童图书网站:Scholastic
2017/03/26 全球购物
澳大利亚Mocha官方网站:包、钱包、珠宝和配饰
2019/07/18 全球购物
理工科学生的自我评价
2013/12/15 职场文书
上课看小说检讨书
2014/02/22 职场文书
高中军训感言200字
2014/02/23 职场文书
销售人员求职的自我评价分享
2014/03/15 职场文书
安全标兵事迹材料
2014/08/17 职场文书
农村婚庆主持词
2015/06/29 职场文书
2016年秋季新学期致辞
2015/07/30 职场文书
小学科学课教学反思
2016/02/23 职场文书
会议开幕致辞怎么写
2016/03/03 职场文书
MySQL 亿级数据导入导出及迁移笔记
2021/06/18 MySQL