python爬虫基础教程:requests库(二)代码实例


Posted in Python onApril 09, 2019

get请求

简单使用

import requests
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
response = requests.get("https://www.baidu.com/")
#text返回的是unicode的字符串,可能会出现乱码情况
# print(response.text)
 
#content返回的是字节,需要解码
print(response.content.decode('utf-8'))
 
 
# print(response.url)       #https://www.baidu.com/
# print(response.status_code)   #200
# print(response.encoding)    #ISO-8859-1

添加headers和params

import requests
 
params = {
  'wd':'python'
}
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
}
 
response = requests.get("https://www.baidu.com/s",params=params,headers=headers)
 
#content返回的是字节,需要解码
with open('baidu.html','w',encoding='utf-8') as f:
  f.write(response.content.decode('utf-8'))

POST请求

爬去拉钩网职位信息

import requests
 
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false"
 
data = {
  'first':'true',
  'pn':1,
  'kd':'python'
}
 
headers = {
  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36",
  "Referer":"https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput="
}
 
response = requests.post(url,data=data,headers=headers)
# print(response.text)
print(type(response.text))    #<class 'str'>
print(type(response.json()))   #<class 'dict'>
 
print(response.json())      #获取为字典的形式

使用代理

import requests
 
proxy = {'http':'115.210.31.236.55:9000'}
 
response = requests.get("https://www.baidu.com/",proxies=proxy)
 
print(response.content.decode('utf-8'))

session登录

# _*_ coding:utf-8 _*_
 
import requests
 
# 1. 创建session对象,可以保存Cookie值
ssion = requests.session()
 
# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
 
# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}
 
# 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)
 
# 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")
 
# 6. 打印响应内容
print(response.text)
 

以上所述是小编给大家介绍的python爬虫基础教程:requests库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
详解Python中列表和元祖的使用方法
Apr 25 Python
在Linux系统上安装Python的Scrapy框架的教程
Jun 11 Python
Python使用matplotlib绘制余弦的散点图示例
Mar 14 Python
python pandas 对series和dataframe的重置索引reindex方法
Jun 07 Python
Django rest framework工具包简单用法示例
Jul 20 Python
python requests 测试代理ip是否生效
Jul 25 Python
Python中应该使用%还是format来格式化字符串
Sep 25 Python
python3 实现对图片进行局部切割的方法
Dec 05 Python
详解Ubuntu16.04安装Python3.7及其pip3并切换为默认版本
Feb 25 Python
Python实现的列表排序、反转操作示例
Mar 13 Python
PyTorch和Keras计算模型参数的例子
Jan 02 Python
Django Xadmin多对多字段过滤实例
Apr 07 Python
一个可以套路别人的python小程序实例代码
Apr 09 #Python
Python装饰器限制函数运行时间超时则退出执行
Apr 09 #Python
详解Python 解压缩文件
Apr 09 #Python
Python使用pandas和xlsxwriter读写xlsx文件的方法示例
Apr 09 #Python
Python中使用logging和traceback模块记录日志和跟踪异常
Apr 09 #Python
由Python编写的MySQL管理工具代码实例
Apr 09 #Python
python实现爬山算法的思路详解
Apr 09 #Python
You might like
php pcntl_fork和pcntl_fork 的用法
2009/04/13 PHP
php判断GIF图片是否为动画的方法
2020/09/04 PHP
PHP连接access数据库
2015/03/27 PHP
js中top/parent/frame概述及案例应用
2013/02/06 Javascript
js创建子窗口并且回传值示例代码
2013/07/02 Javascript
使用js简单实现了tree树菜单
2013/11/20 Javascript
JavaScript定义类和对象的方法
2014/11/26 Javascript
innerHTML在IE中报错解决方案
2014/12/15 Javascript
JS实现网页游戏中滑块响应鼠标点击移动效果
2015/10/19 Javascript
jQuery+css实现的换页标签栏效果
2016/01/27 Javascript
js实现StringBuffer的简单实例
2016/09/02 Javascript
JS实现简单的tab切换选项卡效果
2016/09/21 Javascript
JS中如何实现Laravel的route函数详解
2017/02/12 Javascript
vue2实现移动端上传、预览、压缩图片解决拍照旋转问题
2017/04/13 Javascript
React.js中常用的ES6写法总结(推荐)
2017/05/09 Javascript
Angular 封装并发布组件的方法示例
2018/04/19 Javascript
vue主动刷新页面及列表数据删除后的刷新实例
2018/09/16 Javascript
详解ES6 Promise的生命周期和创建
2019/08/18 Javascript
Python中的条件判断语句与循环语句用法小结
2016/03/21 Python
78行Python代码实现现微信撤回消息功能
2018/07/26 Python
对pandas读取中文unicode的csv和添加行标题的方法详解
2018/12/12 Python
用python给自己做一款小说阅读器过程详解
2019/07/11 Python
使用Python实现画一个中国地图
2019/11/23 Python
Python调用Windows命令打印文件
2020/02/07 Python
Ubuntu中配置TensorFlow使用环境的方法
2020/04/21 Python
canvas基础之图形验证码的示例
2018/01/02 HTML / CSS
处理HTML5新标签的浏览器兼容版问题
2017/03/13 HTML / CSS
英国建筑用品在线:Building Supplies Online(BSO)
2018/04/30 全球购物
介绍一下gcc特性
2012/01/20 面试题
给校长的建议书600字
2014/05/15 职场文书
营销总监岗位职责
2014/09/16 职场文书
最美乡村教师观后感
2015/06/11 职场文书
欢送会主持词
2015/07/01 职场文书
大学开学典礼新闻稿
2015/07/17 职场文书
2016班级元旦联欢会开幕词
2016/03/04 职场文书
JavaScript 实现页面滚动动画
2021/04/24 Javascript