Python3爬虫学习之将爬取的信息保存到本地的方法详解


Posted in Python onDecember 12, 2018

本文实例讲述了Python3爬虫学习之将爬取的信息保存到本地的方法。分享给大家供大家参考,具体如下:

将爬取的信息存储到本地

之前我们都是将爬取的数据直接打印到了控制台上,这样显然不利于我们对数据的分析利用,也不利于保存,所以现在就来看一下如何将爬取的数据存储到本地硬盘。

1 对.txt文件的操作

读写文件是最常见的操作之一,python3 内置了读写文件的函数:open

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None))
Open file and return a corresponding  file object. If the file cannot be opened, an OSError
 is raised.

其中比较常用的参数为file和mode,参数file为文件的路径,参数mode为操作文件的方式(读/写),函数的返回值为一个file对象,如果文件操作出现异常的话,则会抛出 一个OSError

还以简书首页文章题目为例,将爬取到的文章标题存放到一个.txt文件中,具体代码如下:

# -*- coding:utf-8 -*-
from urllib import request
from bs4 import BeautifulSoup
url = r'http://www.jianshu.com'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
titles = soup.find_all('a', 'title')
try:
  # 在E盘以只写的方式打开/创建一个名为 titles 的txt文件
  file = open(r'E:\titles.txt', 'w')
  for title in titles:
  # 将爬去到的文章题目写入txt中
    file.write(title.string + '\n')
finally:
  if file:
    # 关闭文件(很重要)
    file.close()

open中mode参数的含义见下表:

符号 含义
r' 以只读模式打开文件(默认模式)
w' 以只写的方式打开文件,如果文件存在的话会先删除再重新创建
x' 以独占的方式打开文件,如果文件已经存在则错误
a' 以写的形式打开文件,若文件已存在,则以追加的方式写入
b' 二进制模式
t' 文本模式(默认)
+' 更新文件(读/写)

其中't'为默认模式,'r'相当于'rt',符号可以叠加使用,像'r+b'

另外,对文件操作一定要注意的一点是:打开的文件一定要关闭,否则会占用相当大的系统资源,所以对文件的操作最好使用try:...finally:...的形式。但是try:...finally:...的形式会使代码显得比较杂乱,所幸python中的with语句可以帮我们自动调用close()而不需要我们写出来,所以,上面代码中的try:...finally:...可使用下面的with语句来代替:

with open(r'E:\title.txt', 'w') as file:
  for title in titles:
    file.write(title.string + '\n')

效果是一样的,建议使用with语句

Python3爬虫学习之将爬取的信息保存到本地的方法详解

2 图片的储存

有时候我们的爬虫不一定只是爬取文本数据,也会爬取一些图片,下面就来看怎么将爬取的图片存到本地磁盘。

我们先来选好目标,知乎话题:女生怎么健身锻造好身材? (单纯因为图多,不要多想哦 (# _ # ) )

看下页面的源代码,找到话题下图片链接的格式,如图:

Python3爬虫学习之将爬取的信息保存到本地的方法详解

可以看到,图片在img标签中,且class=origin_image zh-lightbox-thumb,而且链接是由.jpg结尾,我们便可以用Beautiful Soup结合正则表达式的方式来提取所有链接,如下:

links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))

提取出所有链接后,使用request.urlretrieve来将所有链接保存到本地

Copy a network object denoted by a URL to a local file. If the URL points to a local file, the object will not be copied unless filename is supplied. Return a tuple (filename, headers)
where filename is the local file name under which the object can be found, and headers is whatever the info()
method of the object returned by urlopen()
 returned (for a remote object). Exceptions are the same as for urlopen()
.

具体实现代码如下:

# -*- coding:utf-8 -*-
import time
from urllib import request
from bs4 import BeautifulSoup
import re
url = r'https://www.zhihu.com/question/22918070'
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url, headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')
soup = BeautifulSoup(page_info, 'html.parser')
# Beautiful Soup和正则表达式结合,提取出所有图片的链接(img标签中,class=**,以.jpg结尾的链接)
links = soup.find_all('img', "origin_image zh-lightbox-thumb",src=re.compile(r'.jpg$'))
# 设置保存的路径,否则会保存到程序当前路径
local_path = r'E:\Pic'
for link in links:
  print(link.attrs['src'])
  # 保存链接并命名,time防止命名冲突
  request.urlretrieve(link.attrs['src'], local_path+r'\%s.jpg' % time.time())

运行结果

Python3爬虫学习之将爬取的信息保存到本地的方法详解

PS:希望大家进行图片爬取的时候,尽量不要将爬下来图片作为商用,特别是摄影作品,都是具有版权的,嗯。。。还有就是注意营养哦~~~

更多关于Python相关内容可查看本站专题:《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python备份文件的脚本
Aug 11 Python
Python读取环境变量的方法和自定义类分享
Nov 22 Python
插入排序_Python与PHP的实现版(推荐)
May 11 Python
100行Python代码实现自动抢火车票(附源码)
Jan 11 Python
python绘制直线的方法
Jun 30 Python
Python实现的字典排序操作示例【按键名key与键值value排序】
Dec 21 Python
python实现动态数组的示例代码
Jul 15 Python
python实现多进程通信实例分析
Sep 01 Python
python matplotlib 画dataframe的时间序列图实例
Nov 20 Python
Python3 全自动更新已安装的模块实现
Jan 06 Python
python GUI库图形界面开发之PyQt5控件数据拖曳Drag与Drop详细使用方法与实例
Feb 27 Python
Python request操作步骤及代码实例
Apr 13 Python
对python制作自己的数据集实例讲解
Dec 12 #Python
Python3爬虫学习之爬虫利器Beautiful Soup用法分析
Dec 12 #Python
Python解决线性代数问题之矩阵的初等变换方法
Dec 12 #Python
对python数据切割归并算法的实例讲解
Dec 12 #Python
python实现文本界面网络聊天室
Dec 12 #Python
Python3爬虫学习之应对网站反爬虫机制的方法分析
Dec 12 #Python
python实现简单多人聊天室
Dec 11 #Python
You might like
php chr() ord()中文截取乱码问题解决方法
2008/09/08 PHP
利用PHP制作简单的内容采集器的原理分析
2008/10/01 PHP
Yii入门教程之目录结构、入口文件及路由设置
2014/11/25 PHP
IE与Firefox在JavaScript上的7个不同写法小结
2009/09/14 Javascript
本地对象Array的原型扩展实现代码
2010/12/04 Javascript
基于mootools插件实现遮罩层新手引导
2012/05/24 Javascript
js锁屏解屏通过对$.ajax进行封装实现
2014/07/31 Javascript
JavaScript实现列表分页功能特效
2015/05/15 Javascript
JQuery判断checkbox是否选中及其它复选框操作方法合集
2015/06/01 Javascript
JS实现点击复选框将按钮或文本框变为灰色不可用的方法
2015/08/11 Javascript
JavaScript原型及原型链终极详解
2016/01/04 Javascript
javascript中闭包(Closure)详解
2016/01/06 Javascript
bootstrap导航、选项卡实现代码
2016/12/28 Javascript
Easyui在treegrid添加控件的实现方法
2017/06/23 Javascript
基于JavaScript中字符串的match与replace方法(详解)
2017/12/04 Javascript
vue拦截器实现统一token,并兼容IE9验证功能
2018/04/26 Javascript
vue-cli3.0 脚手架搭建项目的过程详解
2018/10/19 Javascript
js console.log打印对象时属性缺失的解决方法
2019/05/23 Javascript
jquery实现Ajax请求的几种常见方式总结
2019/05/28 jQuery
vue实现图片上传预览功能
2019/12/23 Javascript
15个简单的JS编码标准让你的代码更整洁(小结)
2020/07/16 Javascript
nodejs使用Sequelize框架操作数据库的实现
2020/10/21 NodeJs
bpython 功能强大的Python shell
2016/02/16 Python
对python插入数据库和生成插入sql的示例讲解
2018/11/14 Python
Python 中pandas索引切片读取数据缺失数据处理问题
2019/10/09 Python
python add_argument()用法解析
2020/01/29 Python
python如何把字符串类型list转换成list
2020/02/18 Python
用你熟悉的语言写一个连接ORACLE数据库的程序,能够完成修改和查询工作
2012/06/11 面试题
毕业自我评价范文
2013/11/17 职场文书
《特殊的葬礼》教学反思
2014/04/27 职场文书
高职教师先进事迹材料
2014/08/24 职场文书
2015年医院创卫工作总结
2015/04/22 职场文书
刑事附带民事代理词
2015/05/25 职场文书
2016感恩母亲节校园广播稿
2015/12/17 职场文书
一个成功的互联网创业项目,必须满足这些要求
2019/08/23 职场文书
Pycharm远程调试和MySQL数据库授权问题
2022/03/18 MySQL