python3使用requests模块爬取页面内容的实战演练


Posted in Python onSeptember 25, 2017

1.安装pip

我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功,查看PIP版本:

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装:

$ pip install requests

python3使用requests模块爬取页面内容的实战演练

运行import requests,如果没提示错误,那说明已经安装成功了!

python3使用requests模块爬取页面内容的实战演练

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注:这里我使用的是python3的安装方式,如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1)发送请求

首先当然是要导入 Requests 模块:

>>> import requests

然后,获取目标抓取网页。这里我以下为例:

>>> r = requests.get('https://3water.com/article/124421.htm')

这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法,所以举一反三你也可以将其替换为put、delete、post、head。

2)传递URL参数

有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。例如, cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数。

举例来说,当我们google搜索“python爬虫”关键词时,newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ,那么你可以使用如下代码:

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}

>>> r = requests.get("https://www.google.com/search", params=payload)

3)响应内容

通过r.text或r.content来获取页面响应内容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别,简单说:

resp.text返回的是Unicode型的数据;

resp.content返回的是bytes型也就是二进制的数据;

所以如果你想取文本,可以通过r.text,如果想取图片,文件,则可以通过r.content。

4)获取网页编码

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.encoding

'utf-8'

5)获取响应状态码

我们可以检测响应状态码:

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.status_code

200

5.案例演示

最近公司刚引入了一款OA系统,这里我以其官方说明文档页面为例,并且只抓取页面中文章标题和内容等有用信息。

演示环境

操作系统:linuxmint

python版本:python 3.5.2

使用模块:requests、beautifulsoup4

代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取页码内容,返回响应对象
response = requests.get(url)

#查看响应状态码
status_code = response.status_code

#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

程序运行返回爬去结果:

python3使用requests模块爬取页面内容的实战演练

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操作的,但在抓取返回内容的编码乱码问题上折腾了老半天,google了多种解决方案都无效。在被python2“整疯“之后,只好老老实实用python3了。对于python2的爬取页面内容乱码问题,欢迎各位前辈们分享经验,以帮助我等后生少走弯路。

后记

python的爬虫相关模块有很多,除了requests模块,再如urllib和pycurl以及tornado等。相比而言,我个人觉得requests模块是相对简单易上手的了。通过文本,大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限,如果文章有任何错误欢迎不吝赐教,其次如果大家有任何关于python爬去页面内容的疑难杂问,也欢迎和大家一起交流讨论。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python解析excel文件存入sqlite数据库的方法
Nov 15 Python
Python数据结构与算法之列表(链表,linked list)简单实现
Oct 30 Python
Python2/3中urllib库的一些常见用法
Dec 19 Python
python语言中with as的用法使用详解
Feb 23 Python
python使用TensorFlow进行图像处理的方法
Feb 28 Python
pygame游戏之旅 计算游戏中躲过的障碍数量
Nov 20 Python
python opencv minAreaRect 生成最小外接矩形的方法
Jul 01 Python
使用Fabric自动化部署Django项目的实现
Sep 27 Python
Python多线程实现支付模拟请求过程解析
Apr 21 Python
python转化excel数字日期为标准日期操作
Jul 14 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
Mar 03 Python
Python Matplotlib绘制条形图的全过程
Oct 24 Python
python中通过预先编译正则表达式提高效率
Sep 25 #Python
python之Character string(实例讲解)
Sep 25 #Python
python利用正则表达式搜索单词示例代码
Sep 24 #Python
不同版本中Python matplotlib.pyplot.draw()界面绘制异常问题的解决
Sep 24 #Python
Django如何实现内容缓存示例详解
Sep 24 #Python
Django查询数据库的性能优化示例代码
Sep 24 #Python
python学习教程之使用py2exe打包
Sep 24 #Python
You might like
Smarty模板快速入门
2007/01/04 PHP
PHP实现随机生成水印图片功能
2017/03/22 PHP
laravel ORM关联关系中的 with和whereHas用法
2019/10/16 PHP
JQuery的html(data)方法与<script>脚本块的解决方法
2010/03/09 Javascript
用javascript读取xml文件读取节点数据
2014/08/12 Javascript
jQuery()方法的第二个参数详解
2015/04/29 Javascript
js判断上传文件后缀名是否合法
2016/01/28 Javascript
JavaScript实现数据类型的相互转换
2016/03/06 Javascript
JS实现iframe自适应高度的方法(兼容IE与FireFox)
2016/06/24 Javascript
在localStorage中存储对象数组并读取的方法
2016/09/24 Javascript
详解react如何在组件中获取路由参数
2017/06/15 Javascript
关于使用js算总价的问题
2017/06/23 Javascript
详解 vue.js用法和特性
2017/10/15 Javascript
Vue自定义toast组件的实例代码
2018/08/15 Javascript
C#程序员入门学习微信小程序的笔记
2019/03/05 Javascript
vue.js购物车添加商品组件的方法
2019/09/17 Javascript
[01:02]2014 DOTA2国际邀请赛中国区预选赛 现场抢先看
2014/05/22 DOTA
简单谈谈Python中函数的可变参数
2016/09/02 Python
python绘制铅球的运行轨迹代码分享
2017/11/14 Python
Python实现将字符串的首字母变为大写,其余都变为小写的方法
2019/06/11 Python
一篇文章了解Python中常见的序列化操作
2019/06/20 Python
Python 如何优雅的将数字转化为时间格式的方法
2019/09/26 Python
使用python 的matplotlib 画轨道实例
2020/01/19 Python
Python sklearn库实现PCA教程(以鸢尾花分类为例)
2020/02/24 Python
Python字符串查找基本操作代码案例
2020/10/27 Python
加拿大女包品牌:Matt & Nat
2017/05/12 全球购物
英国休闲奢华的缩影:Crew Clothing
2019/05/05 全球购物
《雷雨》教学反思
2014/02/20 职场文书
购房意向书
2014/04/01 职场文书
2014年超市员工工作总结
2014/11/18 职场文书
2014年行政部工作总结
2014/11/19 职场文书
班主任2015新年寄语
2014/12/08 职场文书
办公室卫生管理制度
2015/08/04 职场文书
KTV员工管理制度
2015/08/06 职场文书
大学军训口号大全
2015/12/24 职场文书
java如何实现获取客户端ip地址的示例代码
2022/04/07 Java/Android