python获取全国城市pm2.5、臭氧等空气质量过程解析


Posted in Python onOctober 12, 2019

随着国家发展,中国很多城市的空气质量其实并不好,国家气象局会有实时统计,但是要去写爬虫爬取是十分麻烦的事情,并且官方网站也会做一些反爬虫措施,所以实现起来比较麻烦,最好的办法就是使用现成的免费接口,空气质量指数分析,这里是笔者自己实现的一个python调用方式

代码如下:

# -*- coding: utf-8 -*-
# flake8: noqa
__author__ = 'wukong'

import urllib
from urllib import urlencode

#配置您申请的appKey和openId
app_key="***"
open_id="***"

"""
request_url 请求地址
params 请求参数
method 请求方法

"""
def request_content(request_url,params,method):
 params = urlencode(params)
 
 if method and method.lower() =="get":
  f = urllib.urlopen("%s?%s" % (request_url, params))
 else:
  f = urllib.urlopen(request_url, params)
 
 content = f.read()
 print content

 
def main():
 
 domain="http://api.xiaocongjisuan.com/";
 servlet="life/air/analysis"
 method="get"
 request_url=domain+servlet
 
 #字典
 params ={}
 params["appKey"]=app_key
 params["openId"]=open_id
 
 #变动部分
 params["city"]="成都"
 
 request_content(request_url,params,method)
 
if __name__ == '__main__':
 main()

java版的代码可以参考如下代码:

package com.xiaocongjisuan.module.example;

import java.io.BufferedReader;
import java.io.DataOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.io.UnsupportedEncodingException;
import java.net.HttpURLConnection;
import java.net.URL;
import java.net.URLEncoder;
import java.util.HashMap;
import java.util.Map;

public class Application {
 
  public static final String DEF_CHATSET = "UTF-8";
  public static final int DEF_CONN_TIMEOUT = 30000;
  public static final int DEF_READ_TIMEOUT = 30000;
  public static String userAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/29.0.1547.66 Safari/537.36";
  
  //配置您申请的appKey和openId
  public static final String APP_KEY ="yours";
  public static final String OPEN_ID ="yours";
  
  //将map型转为请求参数型
  public static String urlEncode(Map<String,Object> params) {
  
  if(params==null){return "";};
   
  StringBuilder sb = new StringBuilder();
  for (Map.Entry<String,Object> i : params.entrySet()) {
   try {
    sb.append(i.getKey()).append("=").append(URLEncoder.encode(i.getValue()+"","UTF-8")).append("&");
   } catch (UnsupportedEncodingException e) {
    e.printStackTrace();
   }
  }
  String r=sb.toString();
  if(r.endsWith("&")){
   r = r.substring(0,r.length()-1);
  }
  return r;
  }
  
  /**
  *
  * @param requestUrl 请求地址
  * @param params 请求参数
  * @param method 请求方法
  * @return 请求结果
  * @throws Exception
  */
  public static String requestContent(String requestUrl, Map<String,Object> params,String method) throws Exception {
  
  HttpURLConnection conn = null;
  BufferedReader reader = null;
  String rs = null;
  try {

   //组装请求链接
   StringBuffer sb = new StringBuffer();
   
   if(method!=null&&method.equalsIgnoreCase("get")){
    requestUrl = requestUrl+"?"+urlEncode(params);
   }

   //默认get
   URL url = new URL(requestUrl);
   conn = (HttpURLConnection) url.openConnection();
   conn.setRequestMethod("GET");
   
   if(method!=null&&method.equalsIgnoreCase("post")){
     conn.setRequestMethod("POST");
     conn.setDoOutput(true);
     conn.setDoInput(true);
   }

   //参数配置
   conn.setRequestProperty("User-agent", userAgent);
   conn.setUseCaches(false);
   conn.setConnectTimeout(DEF_CONN_TIMEOUT);
   conn.setReadTimeout(DEF_READ_TIMEOUT);
   conn.setInstanceFollowRedirects(false);
   conn.connect();
   
   if (params!= null && method.equalsIgnoreCase("post")) {
    try {
     DataOutputStream out = new DataOutputStream(conn.getOutputStream());
     out.writeBytes(urlEncode(params));
    } catch (Exception e) {
     e.printStackTrace();
    }
   }
   
   //读取数据
   InputStream is = conn.getInputStream();
   reader = new BufferedReader(new InputStreamReader(is, DEF_CHATSET));
   String strRead = null;
   while ((strRead = reader.readLine()) != null) {
    sb.append(strRead);
   }
   rs = sb.toString();
   
  } catch (IOException e) {
   e.printStackTrace();
  } finally {
   if (reader != null) {
    reader.close();
   }
   if (conn != null) {
    conn.disconnect();
   }
  }
  return rs;
 }
 
 
 public static void main(String[] args) throws Exception{
  
  String domain="http://api.xiaocongjisuan.com/";
  String servlet="life/air/analysis";
  String method="get";
  
  String requestUrl=domain+servlet;
  Map<String,Object> params=new HashMap<String,Object>();
  params.put("appKey",APP_KEY);
  params.put("openId",OPEN_ID);

  //变动部分
  params.put("city","成都");
  
  
  String result=requestContent(requestUrl,params,method);
  System.out.println(result);
 }
}

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python使用Srapy框架爬虫模拟登陆并抓取知乎内容
Jul 02 Python
Python全局变量用法实例分析
Jul 19 Python
python去除空格和换行符的实现方法(推荐)
Jan 04 Python
利用python实现简单的邮件发送客户端示例
Dec 23 Python
用Python下载一个网页保存为本地的HTML文件实例
May 21 Python
pandas.dataframe中根据条件获取元素所在的位置方法(索引)
Jun 07 Python
Python实现的读取/更改/写入xml文件操作示例
Aug 30 Python
Python unittest单元测试框架总结
Sep 08 Python
python 接收处理外带的参数方法
Dec 03 Python
利用ctypes获取numpy数组的指针方法
Feb 12 Python
Django项目主urls导入应用中views的红线问题解决
Aug 10 Python
Python绘制K线图之可视化神器pyecharts的使用
Mar 02 Python
Python 迭代,for...in遍历,迭代原理与应用示例
Oct 12 #Python
Python 网络编程之TCP客户端/服务端功能示例【基于socket套接字】
Oct 12 #Python
Python Collatz序列实现过程解析
Oct 12 #Python
python logging日志模块原理及操作解析
Oct 12 #Python
Python爬虫之urllib基础用法教程
Oct 12 #Python
python 生成器和迭代器的原理解析
Oct 12 #Python
python 表格打印代码实例解析
Oct 12 #Python
You might like
深入PHP中慎用双等于(==)的详解
2013/06/06 PHP
php获取根域名方法汇总
2014/10/28 PHP
PHP中配置IIS7实现基本身份验证的方法
2015/09/24 PHP
jquery ajax 局部无刷新更新数据的实现案例
2014/02/08 Javascript
浅谈JavaScript中小数和大整数的精度丢失
2016/05/31 Javascript
js基于cookie记录来宾姓名的方法
2016/07/19 Javascript
Bootstrap选项卡动态切换效果
2016/11/28 Javascript
jQuery滚动监听实现商城楼梯式导航效果
2017/03/06 Javascript
jQuery EasyUI 为Combo,Combobox添加清除值功能的实例
2017/04/13 jQuery
echarts设置图例颜色和地图底色的方法实例
2018/08/01 Javascript
微信小程序使用template标签实现五星评分功能
2018/11/03 Javascript
Egg Vue SSR 服务端渲染数据请求与asyncData
2019/11/24 Javascript
vue中element 的upload组件发送请求给后端操作
2020/09/07 Javascript
在django中使用自定义标签实现分页功能
2017/07/04 Python
Python3计算三角形的面积代码
2017/12/18 Python
Windows下安装Django框架的方法简明教程
2018/03/28 Python
简单实现python聊天程序
2018/04/01 Python
Python3.遍历某文件夹提取特定文件名的实例
2018/04/26 Python
Django 根据数据模型models创建数据表的实例
2018/05/27 Python
Selenium鼠标与键盘事件常用操作方法示例
2018/08/13 Python
在python中安装basemap的教程
2018/09/20 Python
使用Python-OpenCV向图片添加噪声的实现(高斯噪声、椒盐噪声)
2019/05/28 Python
Python交互式图形编程的实现
2019/07/25 Python
python调用matplotlib模块绘制柱状图
2019/10/18 Python
Django数据模型中on_delete使用详解
2020/11/30 Python
详解pycharm的python包opencv(cv2)无代码提示问题的解决
2021/01/29 Python
python中numpy.empty()函数实例讲解
2021/02/05 Python
意大利专业化妆品品牌:KIKO MILANO
2017/02/01 全球购物
法律专业个人实习自我鉴定
2013/09/23 职场文书
会计应届生的自荐信
2013/12/13 职场文书
婚纱摄影师求职信范文
2014/04/17 职场文书
党员组织生活会发言材料
2014/10/17 职场文书
小学生作文写作技巧100例,非常实用!
2019/07/08 职场文书
深入理解Vue的数据响应式
2021/05/15 Vue.js
python编程项目中线上问题排查与解决
2021/11/01 Python
nginx 配置缓存
2022/05/11 Servers