Python3使用requests包抓取并保存网页源码的方法


Posted in Python onMarch 15, 2016

本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考,具体如下:

使用Python 3的requests模块抓取网页源码并保存到文件示例:

import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
 f.write(html.text)

这是一个基本的文件保存操作,但这里有几个值得注意的问题:

1.安装requests包,命令行输入pip install requests即可自动安装。很多人推荐使用requests,自带的urllib.request也可以抓取网页源码

2.open方法encoding参数设为utf-8,否则保存的文件会出现乱码。

3.如果直接在cmd中输出抓取的内容,会提示各种编码错误,所以保存到文件查看。

4.with open方法是更好的写法,可以自动操作完毕后释放资源。

另一个例子:

import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
 for line in f:
 ff.write(line)
ff.close()

这是演示读取一个txt文件,每次读取一行,并保存到另一个txt文件中的示例。

因为在命令行中打印每次读取一行的数据,中文会出现编码错误,所以每次读取一行并保存到另一个文件,这样来测试读取是否正常。(注意open的时候制定encoding编码方式)

转自:小谈博客 http://www.tantengvip.com/2015/05/requests-html/

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
pygame实现弹力球及其变速效果
Jul 03 Python
Django实现快速分页的方法实例
Oct 22 Python
Python 中Pickle库的使用详解
Feb 24 Python
华为校园招聘上机笔试题 扑克牌大小(python)
Apr 22 Python
django ManyToManyField多对多关系的实例详解
Aug 09 Python
python+pygame实现坦克大战
Sep 10 Python
python给图像加上mask,并提取mask区域实例
Jan 19 Python
python实现将两个文件夹合并至另一个文件夹(制作数据集)
Apr 03 Python
Python工程师必考的6个经典面试题
Jun 28 Python
python脚本和网页有何区别
Jul 02 Python
浅析Python中的随机采样和概率分布
Dec 06 Python
Anaconda安装pytorch和paddle的方法步骤
Apr 03 Python
Python减少循环层次和缩进的技巧分析
Mar 15 #Python
Python作用域用法实例详解
Mar 15 #Python
Python的净值数据接口调用示例分享
Mar 15 #Python
Python简单连接MongoDB数据库的方法
Mar 15 #Python
Python函数中的函数(闭包)用法实例
Mar 15 #Python
实例讲解Python中函数的调用与定义
Mar 14 #Python
Python使用multiprocessing实现一个最简单的分布式作业调度系统
Mar 14 #Python
You might like
PHP MVC模式在网站架构中的实现分析
2010/03/04 PHP
PHP人民币金额转大写实例代码
2015/10/02 PHP
PHP魔术方法使用方法汇总
2016/02/14 PHP
PHP类的自动加载机制实现方法分析
2019/01/10 PHP
基于PHP的登录和注册的功能的实现
2020/08/06 PHP
JavaScript 滚轮事件使用说明
2010/03/07 Javascript
Javascript 通过json自动生成Dom的代码
2010/04/01 Javascript
JS 面向对象之神奇的prototype
2011/02/26 Javascript
SyntaxHighlighter语法高亮插件使用说明
2011/08/14 Javascript
js DOM的学习笔记
2011/12/22 Javascript
深入理解JavaScript系列(15) 函数(Functions)
2012/04/12 Javascript
jsp js鼠标移动到指定区域显示选项卡离开时隐藏示例
2013/06/14 Javascript
JqueryMobile动态生成listView并实现刷新的两种方法
2014/03/05 Javascript
浅谈jquery中next与siblings的区别
2016/10/27 Javascript
jquery 验证用户名是否重复代码实例
2019/05/14 jQuery
Vue组件间通信 Vuex的用法解析
2019/08/05 Javascript
微信小程序canvas动态时钟
2020/10/22 Javascript
python实现颜色rgb和hex相互转换的函数
2015/03/19 Python
Python实现对百度云的文件上传(实例讲解)
2017/10/21 Python
[原创]pip和pygal的安装实例教程
2017/12/07 Python
使用Python制作自动推送微信消息提醒的备忘录功能
2018/09/06 Python
python 读取Linux服务器上的文件方法
2018/12/27 Python
Python I/O与进程的详细讲解
2019/03/08 Python
使用keras实现densenet和Xception的模型融合
2020/05/23 Python
用CSS3绘制三角形的简单方法
2015/07/17 HTML / CSS
size?德国官方网站:英国伦敦的球鞋精品店
2018/03/17 全球购物
国外软件测试工程师面试题
2016/12/09 面试题
大三在校生电子商务求职信
2013/10/29 职场文书
大学计划书范文800字
2014/08/14 职场文书
金融保险专业求职信
2014/09/03 职场文书
2014老师三严三实对照检查材料思想汇报
2014/09/18 职场文书
优秀党员申报材料
2014/12/18 职场文书
努力工作保证书
2015/02/28 职场文书
2015年档案室工作总结
2015/05/23 职场文书
《走遍天下书为侣》教学反思
2016/02/22 职场文书
MySQL中InnoDB存储引擎的锁的基本使用教程
2021/05/26 MySQL