python3使用requests模块爬取页面内容的实战演练


Posted in Python onSeptember 25, 2017

1.安装pip

我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功,查看PIP版本:

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装:

$ pip install requests

python3使用requests模块爬取页面内容的实战演练

运行import requests,如果没提示错误,那说明已经安装成功了!

python3使用requests模块爬取页面内容的实战演练

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注:这里我使用的是python3的安装方式,如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1)发送请求

首先当然是要导入 Requests 模块:

>>> import requests

然后,获取目标抓取网页。这里我以下为例:

>>> r = requests.get('https://3water.com/article/124421.htm')

这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法,所以举一反三你也可以将其替换为put、delete、post、head。

2)传递URL参数

有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。例如, cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数。

举例来说,当我们google搜索“python爬虫”关键词时,newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ,那么你可以使用如下代码:

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}

>>> r = requests.get("https://www.google.com/search", params=payload)

3)响应内容

通过r.text或r.content来获取页面响应内容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别,简单说:

resp.text返回的是Unicode型的数据;

resp.content返回的是bytes型也就是二进制的数据;

所以如果你想取文本,可以通过r.text,如果想取图片,文件,则可以通过r.content。

4)获取网页编码

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.encoding

'utf-8'

5)获取响应状态码

我们可以检测响应状态码:

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.status_code

200

5.案例演示

最近公司刚引入了一款OA系统,这里我以其官方说明文档页面为例,并且只抓取页面中文章标题和内容等有用信息。

演示环境

操作系统:linuxmint

python版本:python 3.5.2

使用模块:requests、beautifulsoup4

代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取页码内容,返回响应对象
response = requests.get(url)

#查看响应状态码
status_code = response.status_code

#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

程序运行返回爬去结果:

python3使用requests模块爬取页面内容的实战演练

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操作的,但在抓取返回内容的编码乱码问题上折腾了老半天,google了多种解决方案都无效。在被python2“整疯“之后,只好老老实实用python3了。对于python2的爬取页面内容乱码问题,欢迎各位前辈们分享经验,以帮助我等后生少走弯路。

后记

python的爬虫相关模块有很多,除了requests模块,再如urllib和pycurl以及tornado等。相比而言,我个人觉得requests模块是相对简单易上手的了。通过文本,大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限,如果文章有任何错误欢迎不吝赐教,其次如果大家有任何关于python爬去页面内容的疑难杂问,也欢迎和大家一起交流讨论。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python使用marshal模块序列化实例
Sep 25 Python
Python简明入门教程
Aug 04 Python
python遍历 truple list dictionary的几种方法总结
Sep 11 Python
详解python调用cmd命令三种方法
Jul 08 Python
一篇文章弄懂Python中的可迭代对象、迭代器和生成器
Aug 12 Python
python单向循环链表原理与实现方法示例
Dec 03 Python
使用Pandas的Series方法绘制图像教程
Dec 04 Python
django框架ModelForm组件用法详解
Dec 11 Python
查看端口并杀进程python脚本代码
Dec 17 Python
浅谈keras通过model.fit_generator训练模型(节省内存)
Jun 17 Python
Django crontab定时任务模块操作方法解析
Sep 10 Python
python 自定义异常和主动抛出异常(raise)的操作
Dec 11 Python
python中通过预先编译正则表达式提高效率
Sep 25 #Python
python之Character string(实例讲解)
Sep 25 #Python
python利用正则表达式搜索单词示例代码
Sep 24 #Python
不同版本中Python matplotlib.pyplot.draw()界面绘制异常问题的解决
Sep 24 #Python
Django如何实现内容缓存示例详解
Sep 24 #Python
Django查询数据库的性能优化示例代码
Sep 24 #Python
python学习教程之使用py2exe打包
Sep 24 #Python
You might like
CodeIgniter集成smarty的方法详解
2016/05/26 PHP
关于Yii中模型场景的一些简单介绍
2019/09/22 PHP
laravel实现上传图片的两种方式小结
2019/10/12 PHP
基于jquery的jqDnR拖拽溢出的修改
2011/02/12 Javascript
JavaScript中获取未知对象属性的代码
2011/04/27 Javascript
Javascript玩转继承(三)
2014/05/08 Javascript
js实现最短的XML格式化工具实例
2015/03/12 Javascript
JavaScript实现简单的tab选项卡切换
2016/01/05 Javascript
基于JS实现移动端访问PC端页面时跳转到对应的移动端网页
2020/12/24 Javascript
你真的了解BOM中的history对象吗
2017/02/13 Javascript
详解JavaScript中js对象与JSON格式字符串的相互转换
2017/02/14 Javascript
Javascript中八种遍历方法的执行速度深度对比
2017/04/25 Javascript
JavaScript模板引擎实现原理实例详解
2018/12/14 Javascript
JQuery搜索框自动补全(模糊匹配)功能实现示例
2019/01/08 jQuery
Javascript通过控制类名更改样式
2019/05/24 Javascript
ES6基础之数组和对象的拓展实例详解
2019/08/22 Javascript
微信小程序实现上拉加载功能示例【加载更多数据/触底加载/点击加载更多数据】
2020/05/29 Javascript
深入了解Vue.js 混入(mixins)
2020/07/23 Javascript
[40:12]Liquid vs Chaos 2019国际邀请赛小组赛 BO2 第二场 8.15
2019/08/16 DOTA
Python中的with...as用法介绍
2015/05/28 Python
PHP网页抓取之抓取百度贴吧邮箱数据代码分享
2016/04/13 Python
Python实现多条件筛选目标数据功能【测试可用】
2018/06/13 Python
Python实现最大子序和的方法示例
2019/07/05 Python
python如何支持并发方法详解
2020/07/25 Python
python模拟点击玩游戏的实例讲解
2020/11/26 Python
HTML+CSS3模拟心的跳动实例代码
2017/09/05 HTML / CSS
韩国CJ食品专卖网:CJonmart
2016/09/11 全球购物
德国骆驼商店:ActiveFashionWorld
2017/11/18 全球购物
科颜氏香港官方网店:Kiehl’s香港
2021/03/07 全球购物
外贸英语专业求职信范文
2013/12/25 职场文书
干部现实表现材料
2014/02/13 职场文书
事业单位绩效考核实施方案
2014/03/27 职场文书
爱耳日宣传活动总结
2014/07/05 职场文书
2015年组织部工作总结
2015/04/03 职场文书
结婚典礼主持词
2015/06/29 职场文书
读书笔记格式
2015/07/02 职场文书