python3使用requests模块爬取页面内容的实战演练


Posted in Python onSeptember 25, 2017

1.安装pip

我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功,查看PIP版本:

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装:

$ pip install requests

python3使用requests模块爬取页面内容的实战演练

运行import requests,如果没提示错误,那说明已经安装成功了!

python3使用requests模块爬取页面内容的实战演练

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注:这里我使用的是python3的安装方式,如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1)发送请求

首先当然是要导入 Requests 模块:

>>> import requests

然后,获取目标抓取网页。这里我以下为例:

>>> r = requests.get('https://3water.com/article/124421.htm')

这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法,所以举一反三你也可以将其替换为put、delete、post、head。

2)传递URL参数

有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。例如, cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数。

举例来说,当我们google搜索“python爬虫”关键词时,newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ,那么你可以使用如下代码:

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}

>>> r = requests.get("https://www.google.com/search", params=payload)

3)响应内容

通过r.text或r.content来获取页面响应内容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别,简单说:

resp.text返回的是Unicode型的数据;

resp.content返回的是bytes型也就是二进制的数据;

所以如果你想取文本,可以通过r.text,如果想取图片,文件,则可以通过r.content。

4)获取网页编码

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.encoding

'utf-8'

5)获取响应状态码

我们可以检测响应状态码:

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.status_code

200

5.案例演示

最近公司刚引入了一款OA系统,这里我以其官方说明文档页面为例,并且只抓取页面中文章标题和内容等有用信息。

演示环境

操作系统:linuxmint

python版本:python 3.5.2

使用模块:requests、beautifulsoup4

代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取页码内容,返回响应对象
response = requests.get(url)

#查看响应状态码
status_code = response.status_code

#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

程序运行返回爬去结果:

python3使用requests模块爬取页面内容的实战演练

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操作的,但在抓取返回内容的编码乱码问题上折腾了老半天,google了多种解决方案都无效。在被python2“整疯“之后,只好老老实实用python3了。对于python2的爬取页面内容乱码问题,欢迎各位前辈们分享经验,以帮助我等后生少走弯路。

后记

python的爬虫相关模块有很多,除了requests模块,再如urllib和pycurl以及tornado等。相比而言,我个人觉得requests模块是相对简单易上手的了。通过文本,大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限,如果文章有任何错误欢迎不吝赐教,其次如果大家有任何关于python爬去页面内容的疑难杂问,也欢迎和大家一起交流讨论。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中使用摄像头实现简单的延时摄影技术
Mar 27 Python
Python实现KNN邻近算法
Jan 28 Python
python多行字符串拼接使用小括号的方法
Mar 19 Python
Python json模块dumps、loads操作示例
Sep 06 Python
实例分析python3实现并发访问水平切分表
Sep 29 Python
解决pycharm 远程调试 上传 helpers 卡住的问题
Jun 27 Python
django drf框架自带的路由及最简化的视图
Sep 10 Python
python图片剪裁代码(图片按四个点坐标剪裁)
Mar 10 Python
150行python代码实现贪吃蛇游戏
Apr 24 Python
keras.layer.input()用法说明
Jun 16 Python
Python map及filter函数使用方法解析
Aug 06 Python
浅谈Python numpy创建空数组的问题
May 25 Python
python中通过预先编译正则表达式提高效率
Sep 25 #Python
python之Character string(实例讲解)
Sep 25 #Python
python利用正则表达式搜索单词示例代码
Sep 24 #Python
不同版本中Python matplotlib.pyplot.draw()界面绘制异常问题的解决
Sep 24 #Python
Django如何实现内容缓存示例详解
Sep 24 #Python
Django查询数据库的性能优化示例代码
Sep 24 #Python
python学习教程之使用py2exe打包
Sep 24 #Python
You might like
PHP计算2点经纬度之间的距离代码
2013/08/12 PHP
合并ThinkPHP配置文件以消除代码冗余的实现方法
2014/07/22 PHP
PHP生成制作验证码的简单实例
2016/06/12 PHP
js 分页全选或反选标识实现代码
2011/08/09 Javascript
jQuery把表单元素变为json对象
2013/11/06 Javascript
js监听鼠标点击和键盘点击事件并自动跳转页面
2014/09/24 Javascript
jquery动感漂浮导航菜单代码分享
2020/04/15 Javascript
7个jQuery最佳实践
2016/01/12 Javascript
jQuery 监控键盘一段时间没输入
2016/04/22 Javascript
Vue.js组件使用开发实例教程
2016/11/01 Javascript
JavaScript利用正则表达式替换字符串中的内容
2016/12/12 Javascript
Vue2.0基于vue-cli+webpack Vuex的用法(实例讲解)
2017/09/15 Javascript
node.js 用socket实现聊天的示例代码
2017/10/17 Javascript
element ui 对话框el-dialog关闭事件详解
2018/02/26 Javascript
Node.js原生api搭建web服务器的方法步骤
2019/02/15 Javascript
layui 富文本赋值,取值,取纯文本值的实例
2019/09/18 Javascript
Vue.js 实现地址管理页面思路详解(地址添加、编辑、删除和设置默认地址)
2019/12/11 Javascript
浅谈element中InfiniteScroll按需引入的一点注意事项
2020/06/05 Javascript
JavaScript实现沿五角星形线摆动的小圆实例详解
2020/07/28 Javascript
[37:45]2014 DOTA2国际邀请赛中国区预选赛5.21 DT VS Orenda
2014/05/22 DOTA
简单介绍利用TK在Python下进行GUI编程的教程
2015/04/13 Python
Python实现XML文件解析的示例代码
2018/02/05 Python
python实现聊天小程序
2018/03/13 Python
Python实现截取PDF文件中的几页代码实例
2019/03/11 Python
Python3.7黑帽编程之病毒篇(基础篇)
2020/02/04 Python
Python实现网络聊天室的示例代码(支持多人聊天与私聊)
2021/01/27 Python
Omio英国:搜索并比较便宜的巴士、火车和飞机
2019/08/27 全球购物
斯图尔特·韦茨曼鞋加拿大官网:Stuart Weitzman加拿大
2019/10/13 全球购物
应届生保险求职信
2013/11/11 职场文书
年会活动策划方案
2014/01/23 职场文书
2014小学植树节活动总结
2014/03/10 职场文书
校长个人总结
2015/03/03 职场文书
四十年同学聚会致辞
2015/07/28 职场文书
js中Object.create实例用法详解
2021/10/05 Javascript
【DOTA2】总决赛血虐~ XTREME GAMING vs MAGMA - OGA DOTA PIT 2022 CN
2022/04/02 DOTA
MySQL分区路径子分区再分区
2022/04/13 MySQL