python爬虫基础教程:requests库(二)代码实例


Posted in Python onApril 09, 2019

get请求

简单使用

import requests
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
response = requests.get("https://www.baidu.com/")
#text返回的是unicode的字符串,可能会出现乱码情况
# print(response.text)
 
#content返回的是字节,需要解码
print(response.content.decode('utf-8'))
 
 
# print(response.url)       #https://www.baidu.com/
# print(response.status_code)   #200
# print(response.encoding)    #ISO-8859-1

添加headers和params

import requests
 
params = {
  'wd':'python'
}
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
}
 
response = requests.get("https://www.baidu.com/s",params=params,headers=headers)
 
#content返回的是字节,需要解码
with open('baidu.html','w',encoding='utf-8') as f:
  f.write(response.content.decode('utf-8'))

POST请求

爬去拉钩网职位信息

import requests
 
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false"
 
data = {
  'first':'true',
  'pn':1,
  'kd':'python'
}
 
headers = {
  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36",
  "Referer":"https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput="
}
 
response = requests.post(url,data=data,headers=headers)
# print(response.text)
print(type(response.text))    #<class 'str'>
print(type(response.json()))   #<class 'dict'>
 
print(response.json())      #获取为字典的形式

使用代理

import requests
 
proxy = {'http':'115.210.31.236.55:9000'}
 
response = requests.get("https://www.baidu.com/",proxies=proxy)
 
print(response.content.decode('utf-8'))

session登录

# _*_ coding:utf-8 _*_
 
import requests
 
# 1. 创建session对象,可以保存Cookie值
ssion = requests.session()
 
# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
 
# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}
 
# 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)
 
# 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")
 
# 6. 打印响应内容
print(response.text)
 

以上所述是小编给大家介绍的python爬虫基础教程:requests库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
使用Python的Tornado框架实现一个Web端图书展示页面
Jul 11 Python
Python采用Django制作简易的知乎日报API
Aug 03 Python
python实现简单点对点(p2p)聊天
Sep 13 Python
Python验证文件是否可读写代码分享
Dec 11 Python
使用Django和Python创建Json response的方法
Mar 26 Python
python 多线程将大文件分开下载后在合并的实例
Nov 09 Python
python使用KNN算法识别手写数字
Apr 25 Python
python时间序列按频率生成日期的方法
May 14 Python
Python使用mongodb保存爬取豆瓣电影的数据过程解析
Aug 14 Python
在jupyter notebook 添加 conda 环境的操作详解
Apr 10 Python
python 实现图像快速替换某种颜色
Jun 04 Python
Python可视化神器pyecharts之绘制地理图表练习
Jul 07 Python
一个可以套路别人的python小程序实例代码
Apr 09 #Python
Python装饰器限制函数运行时间超时则退出执行
Apr 09 #Python
详解Python 解压缩文件
Apr 09 #Python
Python使用pandas和xlsxwriter读写xlsx文件的方法示例
Apr 09 #Python
Python中使用logging和traceback模块记录日志和跟踪异常
Apr 09 #Python
由Python编写的MySQL管理工具代码实例
Apr 09 #Python
python实现爬山算法的思路详解
Apr 09 #Python
You might like
使用NetBeans + Xdebug调试PHP程序的方法
2011/04/12 PHP
如何使用“PHP” 彩蛋进行敏感信息获取
2013/08/07 PHP
php实现当前页面点击下载文件的简单方法
2016/09/22 PHP
php对象工厂类完整示例
2018/08/09 PHP
JavaScript中的Array对象使用说明
2011/01/17 Javascript
cookie的复制与使用记住用户名实现代码
2013/11/04 Javascript
什么是cookie?js手动创建和存储cookie
2014/05/27 Javascript
在AngularJS应用中实现一些动画效果的代码
2015/06/18 Javascript
js实现左侧网页tab滑动门效果代码
2015/09/06 Javascript
用JS写的一个Ajax库(实例代码)
2016/08/06 Javascript
HTML5实现微信拍摄上传照片功能
2017/04/21 Javascript
Nodejs中使用phantom将html转为pdf或图片格式的方法
2017/09/18 NodeJs
vue-cli中的babel配置文件.babelrc实例详解
2018/02/22 Javascript
讲解vue-router之什么是编程式路由
2018/05/28 Javascript
JavaScript多态与封装实例分析
2018/07/27 Javascript
在vue中多次调用同一个定义全局变量的实例
2018/09/25 Javascript
基于element-ui封装表单金额输入框的方法示例
2021/01/06 Javascript
[01:12:53]完美世界DOTA2联赛PWL S2 Forest vs SZ 第一场 11.25
2020/11/26 DOTA
python使用range函数计算一组数和的方法
2015/05/07 Python
栈和队列数据结构的基本概念及其相关的Python实现
2015/08/24 Python
Python三级目录展示的实现方法
2016/09/28 Python
Python pandas常用函数详解
2018/02/07 Python
朴素贝叶斯分类算法原理与Python实现与使用方法案例
2018/06/26 Python
利用python求积分的实例
2019/07/03 Python
Python爬虫爬取、解析数据操作示例
2020/03/27 Python
固特异美国在线轮胎店:Goodyear Tire
2019/02/23 全球购物
趣天网日本站:Qoo10 JP
2019/09/18 全球购物
精彩的推荐信范文
2013/11/26 职场文书
全民健身日活动方案
2014/01/29 职场文书
弘扬雷锋精神活动演讲稿
2014/03/04 职场文书
幼儿园小班教师寄语
2014/04/03 职场文书
“向国旗敬礼”活动策划方案(4篇)
2014/09/27 职场文书
2015国际残疾人日活动总结
2015/03/24 职场文书
SpringDataJPA在Entity中常用的注解介绍
2021/12/06 Java/Android
PyTorch中的torch.cat简单介绍
2022/03/17 Python
flex弹性布局详解
2022/03/20 HTML / CSS