Python3简单爬虫抓取网页图片代码实例


Posted in Python onAugust 26, 2019

现在网上有很多python2写的爬虫抓取网页图片的实例,但不适用新手(新手都使用python3环境,不兼容python2),

所以我用Python3的语法写了一个简单抓取网页图片的实例,希望能够帮助到大家,并希望大家批评指正。

import urllib.request
import re
import os
import urllib
#根据给定的网址来获取网页详细信息,得到的html就是网页的源代码 
def getHtml(url):
  page = urllib.request.urlopen(url)
  html = page.read()
  return html.decode('UTF-8')

def getImg(html):
  reg = r'src="(.+?\.jpg)" pic_ext'
  imgre = re.compile(reg)
  imglist = imgre.findall(html)#表示在整个网页中过滤出所有图片的地址,放在imglist中
  x = 0
  path = 'D:\\test' 
  # 将图片保存到D:\\test文件夹中,如果没有test文件夹则创建
  if not os.path.isdir(path): 
    os.makedirs(path) 
  paths = path+'\\'   #保存在test路径下 

  for imgurl in imglist: 
    urllib.request.urlretrieve(imgurl,'{0}{1}.jpg'.format(paths,x)) #打开imglist中保存的图片网址,并下载图片保存在本地,format格式化字符串 
    x = x + 1 
  return imglist
html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息,得到的html就是网页的源代码 
print (getImg(html)) #从网页源代码中分析并下载保存图片

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python益智游戏计算汉诺塔问题示例
Mar 05 Python
使用Python获取Linux系统的各种信息
Jul 10 Python
python 删除列表里所有空格项的方法总结
Apr 18 Python
Python socket套接字实现C/S模式远程命令执行功能案例
Jul 06 Python
django富文本编辑器的实现示例
Apr 10 Python
python中pip的使用和修改下载源的方法
Jul 08 Python
python 梯度法求解函数极值的实例
Jul 10 Python
python用win32gui遍历窗口并设置窗口位置的方法
Jul 26 Python
python实现KNN分类算法
Oct 16 Python
python绘制无向图度分布曲线示例
Nov 22 Python
pandas使用之宽表变窄表的实现
Apr 12 Python
再也不用花钱买漫画!Python爬取某漫画的脚本及源码
Jun 09 Python
python 数据提取及拆分的实现代码
Aug 26 #Python
Python3 使用pillow库生成随机验证码
Aug 26 #Python
python excel转换csv代码实例
Aug 26 #Python
对YOLOv3模型调用时候的python接口详解
Aug 26 #Python
pandas条件组合筛选和按范围筛选的示例代码
Aug 26 #Python
python3 反射的四种基本方法解析
Aug 26 #Python
python接口调用已训练好的caffe模型测试分类方法
Aug 26 #Python
You might like
《星际争霸重制版》兵种对比图鉴
2020/03/02 星际争霸
PHP实现邮件群发的源码
2013/06/18 PHP
PHP中trim()函数简单使用指南
2015/04/16 PHP
php好代码风格的阶段性总结
2016/06/25 PHP
Zend Framework数据库操作方法实例总结
2016/12/11 PHP
PHP7内核CGI与FastCGI详解
2019/04/14 PHP
JavaScript的目的分析
2007/01/05 Javascript
如何在Web页面上直接打开、编辑、创建Office文档
2007/03/12 Javascript
解决使用attachEvent函数时,this指向被绑定的元素的问题的方法
2007/08/13 Javascript
javascript获取浏览器类型和版本的方法(js获取浏览器版本)
2014/03/13 Javascript
JavaScript中判断页面关闭、页面刷新的实现代码
2014/08/27 Javascript
jQuery获取URL请求参数的方法
2015/07/18 Javascript
win7下安装配置node.js+express开发环境
2015/12/06 Javascript
基于匀速运动的实例讲解(侧边栏,淡入淡出)
2017/10/17 Javascript
Spring Boot/VUE中路由传递参数的实现代码
2018/03/02 Javascript
vue2.0 可折叠列表 v-for循环展示的实例
2018/09/07 Javascript
JS 数组随机洗牌的实例代码
2018/09/12 Javascript
通过cordova将vue项目打包为webapp的方法
2019/02/02 Javascript
微信小程序开发实现消息推送
2020/11/18 Javascript
如何使用Node.js爬取任意网页资源并输出PDF文件到本地
2019/06/17 Javascript
JavaScript接口实现方法实例分析
2020/05/16 Javascript
解决vue项目axios每次请求session不一致的问题
2020/10/24 Javascript
[02:00]最后,我终于出了辉耀
2018/03/27 DOTA
Python里隐藏的“禅”
2014/06/16 Python
在Python的Django框架中包装视图函数
2015/07/20 Python
Python中关于Sequence切片的下标问题详解
2017/06/15 Python
OpenCV里的imshow()和Matplotlib.pyplot的imshow()的实现
2019/11/25 Python
calendar在python3时间中常用函数举例详解
2020/11/18 Python
Sunglasses Shop丹麦:欧洲第一的太阳镜在线销售网站
2017/10/22 全球购物
Nicole Miller官方网站:纽约女装品牌
2019/09/14 全球购物
煤矿开采专业求职信
2014/07/08 职场文书
详解Nginx启动失败的几种错误处理
2021/04/01 Servers
浅谈Java实现分布式事务的三种方案
2021/06/11 Java/Android
Vue实现tab导航栏并支持左右滑动功能
2021/06/28 Vue.js
CSS 实现角标效果的完整代码
2022/06/28 HTML / CSS