python requests模块的使用示例


Posted in Python onApril 07, 2021

为什么使用requests:

  • 支持使用Cookie保持会话
  • 支持文件上传
  • 支持自动确定响应内容的编码
  • 对用户来说比较人性化

模拟get请求:

获取token

# 使用微信公众平台举例
get_param_dict={
 "grant_type":"**************",
 "appid":"**************",
 "secret":"**************",
}
response = requests.get(url='https://api.weixin.qq.com/cgi-bin/token', # url地址
      params=get_param_dict) # 参数
print(response.content.decode('utf-8'))

模拟请求头部信息

注:因为requests请求头是以python,requests发起的,所以大部分接口都会需要手动添加头部信息

# get 模拟请求头部信息,(当你发现数据不对时,就模拟)
# 以百度举例
get_param_dict ={
 "wd":"newdream"
}
# 添加头部信息字典(可以使用抓包抓取到头部信息)
header_info_dict = {
 "User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
 "Accpet":"text/plain, */*; q=0.01"
}
response = requests.get(url = 'https://www.baidu.com/s',
      params=get_param_dict,headers=header_info_dict)
print(response.content.decode('utf-8'))

模拟post请求

import requests,json
# requests模拟发送post请求
# 使用微信公众平台举例
url_param_doct = {"access_token": "43_XcK_1rvR8VPgicGGzq7Vp2QrGx30Kwhy9SSShoVTQs11G_jP9aqhy2bwRQFuG2hYzkwVjphJFfPj8WYQR8vgfu5Xej7KaZBiyPDJ9sYoCKte78sqgtBdCf6N5S8QosNXBOFSEJnzLMbxJwCOTWAgAAANQU"}
post_param_data = {
 "tag" : {  "name" : "我是新标签" }
}
response = requests.post(url='https://api.weixin.qq.com/cgi-bin/tags/create',
       params=url_param_doct,
       # json=post_param_data # 可以使用json
       data=json.dumps(post_param_data) # 也可以使用data,但是data要求是字符串,需要使用json模块dumps转化
       )
print(response.content.decode('utf-8'))

requests上传文件

import requests,os
# post上传文件
current_path = os.path.dirname(__file__) # os模块定位当前路径
excel_path = os.path.join(current_path,'..','data','j.xlsx') # join拼接
excel_file = {'file':open(excel_path,'rb')} # 做成字典,open打开文件 rb:只读二进制
response = requests.post(url='https://2.python-requests.org/', # requests官方实例文档地址
       files=excel_file) # files传文件
print( response.content.decode('utf-8') )

requests设置代理

import requests
# 设置代理:为什么设置代理?
# 爬虫类项目,有检测机制
# 防止公司系统有防灌水功能
# 需要翻墙做接口的时候
proxy_server = {'http':'http://127.0.0.1:8888',
    'https':'http://127.0.0.1:8888'} # 做一个字典
proxy_user_pass = {
 'https':'http://uesrname:password@127.0.0.1:8888' # 需要用户跟密码使用这个
}
response = requests.get(url= 'https://baidu.com',
      proxies=proxy_server) # proxies设置代理关键字
print(response.status_code)

time模块设置请求超时

如果一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求

让他必须在特定的时间内返回结果,否则就报错。

# 设置请求超时
import requests
import time
print(time.time()) # 时间戳
response = requests.get(url='https://www.baidu.com',timeout=3) # timeout=3: 请求如果在规定时间之内(3秒钟内)没有得到响应,就会抛出超时错误
print(time.time())

retrying模块设置刷新

使用超时参数能够加快我们整体的请求速度,但是在正常的网页浏览过成功,如果发生速度很慢的情况,我们会做的选择是刷新页面

retrying模块就可以帮助我们解决。使用retrying模块提供的retry模块

通过装饰器的方式使用,让被装饰的函数反复执行retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行

达到最大执行次数的上限,如果每次都报错,整个函数报错,如果中间有一个成功,程序继续往后执行。

import requests
from retrying import retry


# 如果函数连续调用三次都报错,才会报错,如果三次之中有一次成功,就成功
@retry(stop_max_attempt_number=3)
def get_response(url):
 response = requests.get(url, timeout=2)
 return response
retrying_requests = get_response("https://www.baidu.com")
print(retrying_requests.content.decode())

cookie设置

好处:能够访问登录后的页面

坏处:一套cookie往往对应的是一个用户的信息,请求太频繁有更大的可能性被对方识别为爬虫
如何解决 ?使用多个账号

# 使用requests提供的session模块
import requests
# 构造formdata表单数据,填写自己的账号和密码
post_data = {
 "username": "xxxxx",
 "password": "xxxxx"
}
# session的使用: 在请求之前创建session对象
session = requests.Session()
# 后续的请求都由session来发起,因为session中保存了用户的登陆信息
session.post(url="https://www.baidu.com", data=post_data)
response = session.get("https://www.baidu.com")
# 使用session请求登陆后的界面
print(response.content.decode())

处理证书认证错误

import requests
# 方式一:不验证证书,报警告,返回200
requests.packages.urllib3.disable_warnings()# 直接解决爆红警告

# 方式二不验证证书,报警告,返回200 ,后面拼接verify=False,加这个控制台报警的话,就在加上方式一
response = requests.get('https://www.12306.cn',verify=False)
print(response.content.decode('utf-8'))

# 方式三:安装pyopenssl 安装之后就不会报错# pip3 install -U requests[security] 
response = requests.get('https://www.12306.cn')
print(response.content.decode('utf-8'))

# 方式四: 加上证书 公司内部 问开发要xxx.crt文件 ,最稳妥
response = requests.get('https://www.12306.cn',cert=('/path/server.crt', '/path/key'))

requests+jsonpath解析数据

hosts = 'https://api.weixin.qq.com' # 主机地址
# 获取token
get_param_dict = {
 "grant_type":"**********",
 "appid":"*************",
 "secret":"***************"
}
response = requests.get('%s/cgi-bin/token'%hosts,params=get_param_dict)
json_obj = response.json()
 # json数据解析:从一个json体中取出需要的数据,就叫json数据解析
token_id = jsonpath.jsonpath(json_obj,'$.access_token')[0] # 接口依赖,接口关联
print(token_id)

以上就是python requests模块的使用的详细内容,更多关于python requests模块的使用的资料请关注三水点靠木其它相关文章!

Python 相关文章推荐
python 多线程应用介绍
Dec 19 Python
PHP魔术方法__ISSET、__UNSET使用实例
Nov 25 Python
Python中自定义函数的教程
Apr 27 Python
python动态参数用法实例分析
May 25 Python
Django学习笔记之Class-Based-View
Feb 15 Python
python+selenium识别验证码并登录的示例代码
Dec 21 Python
利用python实现对web服务器的目录探测的方法
Feb 26 Python
Django使用模板后无法找到静态资源文件问题解决
Jul 19 Python
Python浮点数四舍五入问题的分析与解决方法
Nov 19 Python
python运用pygame库实现双人弹球小游戏
Nov 25 Python
详解如何修改python中字典的键和值
Sep 29 Python
pytorch实现手写数字图片识别
May 20 Python
Python 使用dict实现switch的操作
Apr 07 #Python
Python 把两层列表展开平铺成一层(5种实现方式)
Apr 07 #Python
Python获取百度热搜的完整代码
详解Python小数据池和代码块缓存机制
Apr 07 #Python
浅谈Python列表嵌套字典转化的问题
Apr 07 #Python
python pyhs2 的安装操作
Apr 07 #Python
python3 sqlite3限制条件查询的操作
Apr 07 #Python
You might like
文件上传程序的全部源码
2006/10/09 PHP
php 什么是PEAR?(第二篇)
2009/03/19 PHP
ThinkPHP令牌验证实例
2014/06/18 PHP
PHP通过curl获取接口URL的数据方法
2018/05/31 PHP
Yii框架布局文件的动态切换操作示例
2019/11/11 PHP
ArrayList类(增强版)
2007/04/04 Javascript
解决AJAX中跨域访问出现'没有权限'的错误
2008/08/20 Javascript
javascript 放大镜 v1.0 基于Yui2 实现的放大镜效果
2010/03/08 Javascript
IE6下拉框图层问题探讨及解决
2014/01/03 Javascript
JavaScript通过使用onerror设置默认图像显示代替alt
2016/03/01 Javascript
用jQuery向div中添加Html文本内容的简单实现
2016/07/13 Javascript
值得分享的JavaScript实现图片轮播组件
2016/11/21 Javascript
微信小程序 详解Page中data数据操作和函数调用
2017/01/12 Javascript
javascript实现滑动解锁功能
2017/03/22 Javascript
jQuery插件FusionCharts绘制的2D帕累托图效果示例【附demo源码】
2017/03/28 jQuery
vue使用Axios做ajax请求详解
2017/06/07 Javascript
vue.js的手脚架vue-cli项目搭建的步骤
2017/08/30 Javascript
vue.js使用代理和使用Nginx来解决跨域的问题
2018/02/03 Javascript
通过实例讲解JS如何防抖动
2019/06/15 Javascript
JS数据类型STRING使用实例解析
2019/12/18 Javascript
JavaScript设计模式--简单工厂模式定义与应用案例详解
2020/05/23 Javascript
使用Vue-scroller页面input框不能触发滑动的问题及解决方法
2020/08/08 Javascript
[01:02:18]VGJ.S vs infamous Supermajor 败者组 BO3 第一场 6.4
2018/06/05 DOTA
谈谈Python:为什么类中的私有属性可以在外部赋值并访问
2020/03/05 Python
使用IPython或Spyder将省略号表示的内容完整输出
2020/04/20 Python
pygame用blit()实现动画效果的示例代码
2020/05/28 Python
详解Windows下PyCharm安装Numpy包及无法安装问题解决方案
2020/06/18 Python
纯CSS3制作的鼠标悬停时边框旋转
2017/01/03 HTML / CSS
Canvas在超级玛丽游戏中的应用详解
2021/02/06 HTML / CSS
Links of London官方网站:英国标志性的珠宝品牌
2017/04/09 全球购物
柏林通行证:Berlin Pass
2018/04/11 全球购物
时尚设计师手表:The Watch Cabin
2018/10/06 全球购物
跑操口号
2014/06/12 职场文书
运动会演讲稿50字
2014/08/25 职场文书
中秋节国旗下演讲稿
2014/09/05 职场文书
听课评课活动心得体会
2016/01/15 职场文书