python爬虫基础教程:requests库(二)代码实例


Posted in Python onApril 09, 2019

get请求

简单使用

import requests
'''
想要学习Python?Python学习交流群:973783996满足你的需求,资料都已经上传群文件,可以自行下载!
'''
response = requests.get("https://www.baidu.com/")
#text返回的是unicode的字符串,可能会出现乱码情况
# print(response.text)
 
#content返回的是字节,需要解码
print(response.content.decode('utf-8'))
 
 
# print(response.url)       #https://www.baidu.com/
# print(response.status_code)   #200
# print(response.encoding)    #ISO-8859-1

添加headers和params

import requests
 
params = {
  'wd':'python'
}
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'
}
 
response = requests.get("https://www.baidu.com/s",params=params,headers=headers)
 
#content返回的是字节,需要解码
with open('baidu.html','w',encoding='utf-8') as f:
  f.write(response.content.decode('utf-8'))

POST请求

爬去拉钩网职位信息

import requests
 
url = "https://www.lagou.com/jobs/positionAjax.json?city=%E5%8C%97%E4%BA%AC&needAddtionalResult=false"
 
data = {
  'first':'true',
  'pn':1,
  'kd':'python'
}
 
headers = {
  "User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36",
  "Referer":"https://www.lagou.com/jobs/list_python?city=%E5%8C%97%E4%BA%AC&cl=false&fromSearch=true&labelWords=&suginput="
}
 
response = requests.post(url,data=data,headers=headers)
# print(response.text)
print(type(response.text))    #<class 'str'>
print(type(response.json()))   #<class 'dict'>
 
print(response.json())      #获取为字典的形式

使用代理

import requests
 
proxy = {'http':'115.210.31.236.55:9000'}
 
response = requests.get("https://www.baidu.com/",proxies=proxy)
 
print(response.content.decode('utf-8'))

session登录

# _*_ coding:utf-8 _*_
 
import requests
 
# 1. 创建session对象,可以保存Cookie值
ssion = requests.session()
 
# 2. 处理 headers
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.101 Safari/537.36'}
 
# 3. 需要登录的用户名和密码
data = {"email":"158xxxxxxxx", "password":"pythonxxxxxxx"}
 
# 4. 发送附带用户名和密码的请求,并获取登录后的Cookie值,保存在ssion里
ssion.post("http://www.renren.com/PLogin.do", data = data)
 
# 5. ssion包含用户登录后的Cookie值,可以直接访问那些登录后才可以访问的页面
response = ssion.get("http://zhibo.renren.com/news/108")
 
# 6. 打印响应内容
print(response.text)
 

以上所述是小编给大家介绍的python爬虫基础教程:requests库(二)详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
python实现绘制树枝简单示例
Jul 24 Python
用Python实现通过哈希算法检测图片重复的教程
Apr 02 Python
Python 用Redis简单实现分布式爬虫的方法
Nov 23 Python
python利用socketserver实现并发套接字功能
Jan 26 Python
numpy判断数值类型、过滤出数值型数据的方法
Jun 09 Python
python把ipynb文件转换成pdf文件过程详解
Jul 09 Python
python 浅谈serial与stm32通信的编码问题
Dec 18 Python
Python解释器及PyCharm工具安装过程
Feb 26 Python
python中time.ctime()实例用法
Feb 03 Python
超详细Python解释器新手安装教程
May 10 Python
对PyTorch中inplace字段的全面理解
May 22 Python
总结Python常用的魔法方法
May 25 Python
一个可以套路别人的python小程序实例代码
Apr 09 #Python
Python装饰器限制函数运行时间超时则退出执行
Apr 09 #Python
详解Python 解压缩文件
Apr 09 #Python
Python使用pandas和xlsxwriter读写xlsx文件的方法示例
Apr 09 #Python
Python中使用logging和traceback模块记录日志和跟踪异常
Apr 09 #Python
由Python编写的MySQL管理工具代码实例
Apr 09 #Python
python实现爬山算法的思路详解
Apr 09 #Python
You might like
php识别翻转iphone拍摄的颠倒图片
2018/05/17 PHP
初学JavaScript第二章
2008/09/30 Javascript
捕获关闭窗口的脚本
2009/01/10 Javascript
JavaScript 开发规范要求(图文并茂)
2010/06/11 Javascript
node.js中的buffer.write方法使用说明
2014/12/10 Javascript
jQuery+html5实现div弹出层并遮罩背景
2015/04/15 Javascript
Node.js本地文件操作之文件拷贝与目录遍历的方法
2016/02/16 Javascript
BootStrap 智能表单实战系列(十)自动完成组件的支持
2016/06/13 Javascript
react开发中如何使用require.ensure加载es6风格的组件
2017/05/09 Javascript
jquery中done和then的区别(详解)
2017/12/19 jQuery
Node.js操作系统OS模块用法分析
2019/01/04 Javascript
layer.prompt使文本框为空的情况下也能点击确定的方法
2019/09/24 Javascript
Nuxt v-bind绑定img src不显示的解决
2019/12/05 Javascript
解决vue watch数据的方法被调用了两次的问题
2020/11/07 Javascript
基于element-ui封装表单金额输入框的方法示例
2021/01/06 Javascript
[01:05:40]2014 DOTA2国际邀请赛中国区预选赛 5 23 CIS VS DT第三场
2014/05/24 DOTA
Python3 入门教程 简单但比较不错
2009/11/29 Python
Python装饰器原理与简单用法实例分析
2018/04/29 Python
浅谈python的深浅拷贝以及fromkeys的用法
2019/03/08 Python
PHP统计代码行数的小代码
2019/09/19 Python
python程序 线程队列queue使用方法解析
2019/09/23 Python
python DataFrame转dict字典过程详解
2019/12/26 Python
pytorch加载自定义网络权重的实现
2020/01/07 Python
使用OpenCV去除面积较小的连通域
2020/07/05 Python
Python爬虫实战案例之爬取喜马拉雅音频数据详解
2020/12/07 Python
美国销售第一的智能手机和平板电脑保护壳:OtterBox
2017/12/21 全球购物
美国在线宠物商店:Chewy
2019/01/12 全球购物
行政办公员自我评价分享
2013/12/14 职场文书
应届生求职自荐信
2014/07/04 职场文书
2014年销售内勤工作总结
2014/12/01 职场文书
优秀学生干部事迹材料
2014/12/24 职场文书
2015年化验员工作总结
2015/04/10 职场文书
2015年感恩父亲节活动策划方案
2015/05/05 职场文书
2016年第二十届“母亲节暨幸福工程救助贫困母亲活动日”活动总结
2016/04/06 职场文书
python 逐步回归算法
2021/04/06 Python
解决Redis启动警告问题
2022/02/24 Redis