使用Python爬虫库requests发送请求、传递URL参数、定制headers


Posted in Python onJanuary 25, 2020

首先我们先引入requests模块

import requests

一、发送请求

r = requests.get('https://api.github.com/events') # GET请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请求
r = requests.delete('http://httpbin.org/delete') # DELETE请求
r = requests.head('http://httpbin.org/get') # HEAD请求
r = requests.options('http://httpbin.org/get') # OPTIONS请求
type(r)
requests.models.Response

二、传递URL参数

URL传递参数的形式为:httpbin.org/get?key=val。但是手动的构造很麻烦,这是可以使用params参数来方便的构造带参数URL。

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2

同一个key可以有多个value

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

三、定制headers

只需要将一个dict传递给headers参数便可以定制headers

url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)

更多关于Python爬虫库requests的使用方法请点击下面的相关链接

Python 相关文章推荐
Windows系统配置python脚本开机启动的3种方法分享
Mar 10 Python
从局部变量和全局变量开始全面解析Python中变量的作用域
Jun 16 Python
Python探索之URL Dispatcher实例详解
Oct 28 Python
python3爬取淘宝信息代码分析
Feb 10 Python
用python编写第一个IDA插件的实例
May 29 Python
python 批量添加的button 使用同一点击事件的方法
Jul 17 Python
python+selenium 点击单选框-radio的实现方法
Sep 03 Python
Python面向对象之Web静态服务器
Sep 03 Python
python导入不同目录下的自定义模块过程解析
Nov 18 Python
python多进程并发demo实例解析
Dec 13 Python
python中的逆序遍历实例
Dec 25 Python
Pytorch之扩充tensor的操作
Mar 04 Python
flask框架自定义url转换器操作详解
Jan 25 #Python
常用python爬虫库介绍与简要说明
Jan 25 #Python
flask框架url与重定向操作实例详解
Jan 25 #Python
flask框架蓝图和子域名配置详解
Jan 25 #Python
flask框架渲染Jinja模板与传入模板变量操作详解
Jan 25 #Python
如何在 Django 模板中输出 "{{"
Jan 24 #Python
在keras中获取某一层上的feature map实例
Jan 24 #Python
You might like
星际原理概述
2020/03/04 星际争霸
全面了解PHP中的全局变量
2016/06/17 PHP
ubutu 16.04环境下,PHP与mysql数据库,网页登录验证实例讲解
2017/07/20 PHP
tp5.1 框架路由操作-URL生成实例分析
2020/05/26 PHP
Prototype使用指南之hash.js
2007/01/10 Javascript
用javascript自动显示最后更新时间
2007/03/15 Javascript
用Greasemonkey 脚本收藏网站会员信息到本地
2009/10/26 Javascript
理解Javascript_03_javascript全局观
2010/10/11 Javascript
JQGrid的用法解析(列编辑,添加行,删除行)
2013/11/08 Javascript
使用jquery写个更改表格行顺序的小功能
2014/04/29 Javascript
jQuery解决浏览器兼容性问题案例分析
2016/04/15 Javascript
javaScript 逻辑运算符使用技巧整理
2017/05/03 Javascript
vue-router 中router-view不能渲染的解决方法
2017/05/23 Javascript
Vue使用json-server进行后端数据模拟功能
2018/04/17 Javascript
JS中DOM元素的attribute与property属性示例详解
2018/09/04 Javascript
react koa rematch 如何打造一套服务端渲染架子
2019/06/26 Javascript
python生成器表达式和列表解析
2016/03/10 Python
Python3.4实现从HTTP代理网站批量获取代理并筛选的方法示例
2017/09/26 Python
如何用python整理附件
2018/05/13 Python
Python字典创建 遍历 添加等实用基础操作技巧
2018/09/13 Python
python版飞机大战代码分享
2018/11/20 Python
pytorch-RNN进行回归曲线预测方式
2020/01/14 Python
Python基于Faker假数据构造库
2020/11/30 Python
canvas进阶之如何画出平滑的曲线
2018/10/15 HTML / CSS
ghd官网:英国ghd直发器品牌
2018/05/04 全球购物
Java TransactionAPI (JTA) 主要包含几部分
2012/12/07 面试题
先进德育工作者事迹材料
2014/01/24 职场文书
《望洞庭》教学反思
2014/02/16 职场文书
2014年迎新年联欢会活动策划方案
2014/02/26 职场文书
电子工程专业毕业生求职信
2014/03/14 职场文书
岗位说明书标准范本
2014/07/30 职场文书
初中生旷课检讨书范文
2014/10/06 职场文书
2014年护士工作总结范文
2014/11/11 职场文书
保留意见审计报告
2015/06/05 职场文书
课文《燕子》教学反思
2016/02/17 职场文书
oracle设置密码复杂度及设置超时退出的功能
2022/06/28 Oracle