Python3简单爬虫抓取网页图片代码实例


Posted in Python onAugust 26, 2019

现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),

所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到大家,并希望大家批评指正。

import urllib.request
import re
import os
import urllib
#根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 
def getHtml(url):
  page = urllib.request.urlopen(url)
  html = page.read()
  return html.decode('UTF-8')

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = imgre.findall(html)#表示在整个网页中过滤出所有图片的地址,放在imglist中
  x = 0
  path = 'D:\\test' 
  # 将图片保存到D:\\test文件夹中,如果没有test文件夹则创建
  if not os.path.isdir(path): 
    os.makedirs(path) 
  paths = path+'\\'   #保存在test路径下 

  for imgurl in imglist: 
    urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x)) #打开imglist中保存的图片网址,并下载图片保存在本地,format格式化字符串 
    x = x + 1 
  return imglist
html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息,得到的html就是网页的源代码 
print (getImg(html)) #从网页源代码中分析并下载保存图片

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
50行代码实现贪吃蛇(具体思路及代码)
Apr 27 Python
python使用rsa加密算法模块模拟新浪微博登录
Jan 22 Python
Python中MySQLdb和torndb模块对MySQL的断连问题处理
Nov 09 Python
Python 由字符串函数名得到对应的函数(实例讲解)
Aug 10 Python
Python3.5.3下配置opencv3.2.0的操作方法
Apr 02 Python
pycham查看程序执行的时间方法
Nov 29 Python
Pytorch 实现自定义参数层的例子
Aug 17 Python
基于pytorch的lstm参数使用详解
Jan 14 Python
浅谈tensorflow中张量的提取值和赋值
Jan 19 Python
Python ORM框架Peewee用法详解
Apr 29 Python
PyQt5 QDockWidget控件应用详解
Aug 12 Python
详解python中[-1]、[:-1]、[::-1]、[n::-1]使用方法
Apr 25 Python
python 数据提取及拆分的实现代码
Aug 26 #Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
You might like
杏林同学录(三)
2006/10/09 PHP
thinkphp配置连接数据库技巧
2014/12/02 PHP
PHP批量删除jQuery操作
2017/07/23 PHP
thinkPHP和onethink微信支付插件分享
2019/08/11 PHP
PHP如何开启Opcache功能提升程序处理效率
2020/04/27 PHP
基于jquery打造的百分比动态色彩条插件
2012/09/19 Javascript
从数据结构的角度分析 for each in 比 for in 快的多
2013/07/07 Javascript
在jquery中的ajax方法怎样通过JSONP进行远程调用
2014/04/04 Javascript
node.js中的path.extname方法使用说明
2014/12/09 Javascript
jquery移动端TAB触屏切换实现效果
2020/12/22 Javascript
Angular发布1.5正式版,专注于向Angular 2的过渡
2016/02/18 Javascript
javascript检查某个元素在数组中的索引值
2016/03/30 Javascript
AngularJS 中的事件详解
2016/07/28 Javascript
jQuery插件HighCharts实现的2D对数饼图效果示例【附demo源码下载】
2017/03/09 Javascript
jquery实现的table排序功能示例
2017/03/10 Javascript
ES6中的箭头函数实例详解
2017/04/06 Javascript
Node.js如何使用Diffie-Hellman密钥交换算法详解
2017/09/05 Javascript
一文让你彻底搞清楚javascript中的require、import与export
2017/09/24 Javascript
判断滚动条滑到底部触发事件(实例讲解)
2017/11/15 Javascript
JS实现的文字间歇循环滚动效果完整示例
2018/02/13 Javascript
使用Vue开发自己的Chrome扩展程序过程详解
2019/06/21 Javascript
python学习之编写查询ip程序
2016/02/27 Python
matplotlib subplots 调整子图间矩的实例
2018/05/25 Python
详解Python的hasattr() getattr() setattr() 函数使用方法
2018/07/09 Python
对python numpy.array插入一行或一列的方法详解
2019/01/29 Python
pyinstaller打包opencv和numpy程序运行错误解决
2019/08/16 Python
HTML5超炫酷粒子效果的进度条的实现示例
2019/08/23 HTML / CSS
欧洲最大的美妆零售网站:Feelunique
2017/01/14 全球购物
将时尚融入珠宝:Adornmonde
2019/10/17 全球购物
计算机科学与技术专业求职信
2014/09/03 职场文书
财务工作犯错检讨书
2014/10/07 职场文书
小学教师先进事迹材料
2014/12/15 职场文书
保证金退回承诺函格式
2015/01/21 职场文书
班主任自我评价范文
2015/03/11 职场文书
销售员岗位职责范本
2015/04/11 职场文书
医院合作意向书范本
2015/05/08 职场文书