使用Python爬虫库requests发送请求、传递URL参数、定制headers


Posted in Python onJanuary 25, 2020

首先我们先引入requests模块

import requests

一、发送请求

r = requests.get('https://api.github.com/events') # GET请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请求
r = requests.delete('http://httpbin.org/delete') # DELETE请求
r = requests.head('http://httpbin.org/get') # HEAD请求
r = requests.options('http://httpbin.org/get') # OPTIONS请求
type(r)
requests.models.Response

二、传递URL参数

URL传递参数的形式为:httpbin.org/get?key=val。但是手动的构造很麻烦,这是可以使用params参数来方便的构造带参数URL。

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2

同一个key可以有多个value

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

三、定制headers

只需要将一个dict传递给headers参数便可以定制headers

url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)

更多关于Python爬虫库requests的使用方法请点击下面的相关链接

Python 相关文章推荐
浅谈python中scipy.misc.logsumexp函数的运用场景
Jun 23 Python
使用python实现个性化词云的方法
Jun 16 Python
Python调用系统底层API播放wav文件的方法
Aug 11 Python
python实现list由于numpy array的转换
Apr 04 Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 Python
Python+Pyqt实现简单GUI电子时钟
Feb 22 Python
python银行系统实现源码
Oct 25 Python
PYTHON如何读取和写入EXCEL里面的数据
Oct 28 Python
如何实现更换Jupyter Notebook内核Python版本
May 18 Python
用ldap作为django后端用户登录验证的实现
Dec 07 Python
解决python3.6用cx_Oracle库连接Oracle的问题
Dec 07 Python
Python3.9.1中使用match方法详解
Feb 08 Python
flask框架自定义url转换器操作详解
Jan 25 #Python
常用python爬虫库介绍与简要说明
Jan 25 #Python
flask框架url与重定向操作实例详解
Jan 25 #Python
flask框架蓝图和子域名配置详解
Jan 25 #Python
flask框架渲染Jinja模板与传入模板变量操作详解
Jan 25 #Python
如何在 Django 模板中输出 "{{"
Jan 24 #Python
在keras中获取某一层上的feature map实例
Jan 24 #Python
You might like
php实现文件下载代码分享
2014/08/19 PHP
Laravel框架实现发送短信验证功能代码
2016/06/06 PHP
javascript中RegExp保留小数点后几位数的方法分享
2013/08/13 Javascript
js改变style样式和css样式的简单实例
2016/06/28 Javascript
深入浅出ES6新特性之函数默认参数和箭头函数
2016/08/01 Javascript
AngularJS路由切换实现方法分析
2017/03/17 Javascript
使用koa-log4管理nodeJs日志笔记的使用方法
2018/11/30 NodeJs
浅谈Vuex注入Vue生命周期的过程
2019/05/20 Javascript
微信小程序如何实现全局重新加载
2019/06/05 Javascript
微信内置开发 iOS修改键盘换行为搜索的解决方案
2019/11/06 Javascript
js正则匹配多个全部数据问题
2019/12/20 Javascript
Vue实现兄弟组件间的联动效果
2020/01/21 Javascript
JavaScript中交换值的10种方法总结
2020/08/18 Javascript
Vue通过provide inject实现组件通信
2020/09/03 Javascript
[00:02]DOTA2新版本使用PA至宝后暴击展示
2014/11/19 DOTA
Python编程判断一个正整数是否为素数的方法
2017/04/14 Python
13个最常用的Python深度学习库介绍
2017/10/28 Python
Python2/3中urllib库的一些常见用法
2017/12/19 Python
Python实现简单的用户交互方法详解
2018/09/25 Python
在python中实现将一张图片剪切成四份的方法
2018/12/05 Python
python集合的创建、添加及删除操作示例
2019/10/08 Python
python 使用递归实现打印一个数字的每一位示例
2020/02/27 Python
python文件排序的方法总结
2020/09/13 Python
Python二元算术运算常用方法解析
2020/09/15 Python
Jmeter调用Python脚本实现参数互相传递的实现
2021/01/22 Python
浅析CSS3 用text-overflow解决文字排版问题
2020/10/28 HTML / CSS
Ralph Lauren意大利官方网站:时尚界最负盛名的品牌之一
2018/10/18 全球购物
laravel使用redis队列实例讲解
2021/03/23 PHP
新任教师自我鉴定
2014/02/24 职场文书
公司保密承诺书
2014/03/27 职场文书
关爱残疾人标语
2014/06/25 职场文书
纪检干部先进事迹材料
2014/08/23 职场文书
关于读书的演讲稿300字
2014/08/27 职场文书
浪漫婚礼主题活动策划方案
2014/09/15 职场文书
离退休人员聘用协议书
2014/11/24 职场文书
python删除csv文件的行列
2021/04/06 Python