python3使用requests模块爬取页面内容的实战演练


Posted in Python onSeptember 25, 2017

1.安装pip

我的个人桌面系统用的linuxmint,系统默认没有安装pip,考虑到后面安装requests模块使用pip,所以我这里第一步先安装pip。

$ sudo apt install python-pip

安装成功,查看PIP版本:

$ pip -V

2.安装requests模块

这里我是通过pip方式进行安装:

$ pip install requests

python3使用requests模块爬取页面内容的实战演练

运行import requests,如果没提示错误,那说明已经安装成功了!

python3使用requests模块爬取页面内容的实战演练

检验是否安装成功

3.安装beautifulsoup4

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航,查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。

$ sudo apt-get install python3-bs4

注:这里我使用的是python3的安装方式,如果你用的是python2,可以使用下面命令安装。

$ sudo pip install beautifulsoup4

4.requests模块浅析

1)发送请求

首先当然是要导入 Requests 模块:

>>> import requests

然后,获取目标抓取网页。这里我以下为例:

>>> r = requests.get('https://3water.com/article/124421.htm')

这里返回一个名为 r 的响应对象。我们可以从这个对象中获取所有我们想要的信息。这里的get是http的响应方法,所以举一反三你也可以将其替换为put、delete、post、head。

2)传递URL参数

有时我们想为 URL 的查询字符串传递某种数据。如果你是手工构建 URL,那么数据会以键/值对的形式置于 URL 中,跟在一个问号的后面。例如, cnblogs.com/get?key=val。 Requests 允许你使用 params 关键字参数,以一个字符串字典来提供这些参数。

举例来说,当我们google搜索“python爬虫”关键词时,newwindow(新窗口打开)、q及oq(搜索关键词)等参数可以手工组成URL ,那么你可以使用如下代码:

>>> payload = {'newwindow': '1', 'q': 'python爬虫', 'oq': 'python爬虫'}

>>> r = requests.get("https://www.google.com/search", params=payload)

3)响应内容

通过r.text或r.content来获取页面响应内容。

>>> import requests

>>> r = requests.get('https://github.com/timeline.json')

>>> r.text

Requests 会自动解码来自服务器的内容。大多数 unicode 字符集都能被无缝地解码。这里补充一点r.text和r.content二者的区别,简单说:

resp.text返回的是Unicode型的数据;

resp.content返回的是bytes型也就是二进制的数据;

所以如果你想取文本,可以通过r.text,如果想取图片,文件,则可以通过r.content。

4)获取网页编码

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.encoding

'utf-8'

5)获取响应状态码

我们可以检测响应状态码:

>>> r = requests.get('http://www.cnblogs.com/')

>>> r.status_code

200

5.案例演示

最近公司刚引入了一款OA系统,这里我以其官方说明文档页面为例,并且只抓取页面中文章标题和内容等有用信息。

演示环境

操作系统:linuxmint

python版本:python 3.5.2

使用模块:requests、beautifulsoup4

代码如下:

#!/usr/bin/env python
# -*- coding: utf-8 -*-
_author_ = 'GavinHsueh'

import requests
import bs4

#要抓取的目标页码地址
url = 'http://www.ranzhi.org/book/ranzhi/about-ranzhi-4.html'

#抓取页码内容,返回响应对象
response = requests.get(url)

#查看响应状态码
status_code = response.status_code

#使用BeautifulSoup解析代码,并锁定页码指定标签内容
content = bs4.BeautifulSoup(response.content.decode("utf-8"), "lxml")
element = content.find_all(id='book')

print(status_code)
print(element)

程序运行返回爬去结果:

python3使用requests模块爬取页面内容的实战演练

抓取成功

关于爬去结果乱码问题

其实起初我是直接用的系统默认自带的python2操作的,但在抓取返回内容的编码乱码问题上折腾了老半天,google了多种解决方案都无效。在被python2“整疯“之后,只好老老实实用python3了。对于python2的爬取页面内容乱码问题,欢迎各位前辈们分享经验,以帮助我等后生少走弯路。

后记

python的爬虫相关模块有很多,除了requests模块,再如urllib和pycurl以及tornado等。相比而言,我个人觉得requests模块是相对简单易上手的了。通过文本,大家可以迅速学会使用python的requests模块爬取页码内容。本人能力有限,如果文章有任何错误欢迎不吝赐教,其次如果大家有任何关于python爬去页面内容的疑难杂问,也欢迎和大家一起交流讨论。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python之wxPython应用实例
Sep 28 Python
Python 稀疏矩阵-sparse 存储和转换
May 27 Python
Python实现的快速排序算法详解
Aug 01 Python
使用pandas读取csv文件的指定列方法
Apr 21 Python
Python抽象和自定义类定义与用法示例
Aug 23 Python
使用python将图片格式转换为ico格式的示例
Oct 22 Python
详解如何为eclipse安装合适版本的python插件pydev
Nov 04 Python
python实现全盘扫描搜索功能的方法
Feb 14 Python
详解python websocket获取实时数据的几种常见链接方式
Jul 01 Python
pycharm运行程序时看不到任何结果显示的解决
Feb 21 Python
python批量生成身份证号到Excel的两种方法实例
Jan 14 Python
Python3利用openpyxl读写Excel文件的方法实例
Feb 03 Python
python中通过预先编译正则表达式提高效率
Sep 25 #Python
python之Character string(实例讲解)
Sep 25 #Python
python利用正则表达式搜索单词示例代码
Sep 24 #Python
不同版本中Python matplotlib.pyplot.draw()界面绘制异常问题的解决
Sep 24 #Python
Django如何实现内容缓存示例详解
Sep 24 #Python
Django查询数据库的性能优化示例代码
Sep 24 #Python
python学习教程之使用py2exe打包
Sep 24 #Python
You might like
PHP MSSQL 存储过程的方法
2008/12/24 PHP
PHP 创建文件(文件夹)以及目录操作代码
2010/03/04 PHP
php读取javascript设置的cookies的代码
2010/04/12 PHP
ThinkPHP让分页保持搜索状态的方法
2014/07/02 PHP
ThinkPHP 表单自动验证运用示例
2014/10/13 PHP
php+mysql实现用户注册登陆的方法
2015/01/03 PHP
javascript对象的property和prototype是这样一种关系
2007/03/24 Javascript
Javascript的getYear、getFullYear、getUTCFullYear异同分享
2011/11/30 Javascript
按钮接受回车事件的三种实现方法
2014/06/06 Javascript
编程语言JavaScript简介
2014/10/16 Javascript
JavaScript中的公有、私有、特权和静态成员用法分析
2014/11/20 Javascript
jQuery实现统计复选框选中数量
2014/11/24 Javascript
JS正则表达式完美实现身份证校验功能
2017/10/18 Javascript
layui点击按钮添加可编辑的一行方法
2018/08/15 Javascript
ng-events类似ionic中Events的angular全局事件
2018/09/05 Javascript
Angular设置别名alias的方法
2018/11/08 Javascript
Vue.js中使用Vuex实现组件数据共享案例
2020/07/31 Javascript
微信小程序实现日历签到
2020/09/21 Javascript
python迭代器实例简析
2014/09/25 Python
Python3.2模拟实现webqq登录
2016/02/15 Python
Python 如何访问外围作用域中的变量
2016/09/11 Python
Python字符串格式化的方法(两种)
2017/09/19 Python
pyspark 读取csv文件创建DataFrame的两种方法
2018/06/07 Python
Numpy的简单用法小结
2019/08/28 Python
python中pyplot基础图标函数整理
2020/11/10 Python
基于HTML5 Canvas:字符串,路径,背景,图片的详解
2013/05/09 HTML / CSS
Expedia爱尔兰:酒店、机票、租车及廉价假期
2017/01/02 全球购物
EVE LOM英国官网:全世界最好的洁面膏
2017/10/30 全球购物
Stio官网:男女、儿童户外服装
2019/12/13 全球购物
美国婴儿服装购物网站:Gerber Childrenswear
2020/05/06 全球购物
thinkphp5 redis缓存新增方法实例讲解
2021/03/24 PHP
银行员工辞职信范文
2014/01/20 职场文书
一份恶作剧的检讨书
2014/09/13 职场文书
2014年班主任德育工作总结
2014/12/05 职场文书
委托书的样本
2015/01/28 职场文书
2015年科室工作总结
2015/04/10 职场文书