Python爬虫抓取指定网页图片代码实例


Posted in Python onJuly 24, 2020

想要爬取指定网页中的图片主要需要以下三个步骤:

(1)指定网站链接,抓取该网站的源代码(如果使用google浏览器就是按下鼠标右键 -> Inspect-> Elements 中的 html 内容)

(2)根据你要抓取的内容设置正则表达式以匹配要抓取的内容

(3)设置循环列表,重复抓取和保存内容

以下介绍了两种方法实现抓取指定网页中图片

(1)方法一:使用正则表达式过滤抓到的 html 内容字符串

# 第一个简单的爬取图片的程序
import urllib.request # python自带的爬操作url的库
import re # 正则表达式


# 该方法传入url,返回url的html的源代码
def getHtmlCode(url):
  # 以下几行注释的代码在本程序中有加没加效果一样,但是为了隐藏自己避免被反爬虫可以假如这个伪装的头部请求
  headers = {
    'User-Agent': 'Mozilla/5.0(Linux; Android 6.0; Nexus 5 Build/MRA58N) \
    AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
  }
  # 将headers头部添加到url,模拟浏览器访问
  url = urllib.request.Request(url, headers=headers)

  # 将url页面的源代码保存成字符串
  page = urllib.request.urlopen(url).read()
  # 字符串转码
  page = page.decode('UTF-8')
  return page


# 该方法传入html的源代码,通过截取其中的img标签,将图片保存到本机
def getImage(page):
  # [^\s]*? 表示最小匹配, 两个括号表示列表中有两个元组
  # imageList = re.findall(r'(https:[^\s]*?(png))"', page)
  imageList = re.findall(r'(https:[^\s]*?(jpg|png|gif))"', page)
  x = 0
  # 循环列表
  for imageUrl in imageList:
    try:
      print('正在下载: %s' % imageUrl[0])
      # 这个image文件夹需要先创建好才能看到结果
      image_save_path = './image/%d.png' % x
      # 下载图片并且保存到指定文件夹中
      urllib.request.urlretrieve(imageUrl[0], image_save_path)
      x = x + 1
    except:
      continue
  pass
if __name__ == '__main__':
  # 指定要爬取的网站
  url = "https://www.cnblogs.com/ttweixiao-IT-program/p/13324826.html"
  # 得到该网站的源代码
  page = getHtmlCode(url)
  # 爬取该网站的图片并且保存
  getImage(page)
  # print(page)

注意,代码中需要修改的就是imageList = re.findall(r'(https:[^\s]*?(jpg|png|gif))"', page) 这一块内容,如何设计正则表达式需要根据你想要抓取的内容设置。我的设计来源如下:

Python爬虫抓取指定网页图片代码实例

可以看到,因为这个网页上的图片都是 png 格式,所以写成imageList = re.findall(r'(https:[^\s]*?(png))"', page)也是可以的。

(2)方法二:使用 BeautifulSoup 库解析 html 网页

from bs4 import BeautifulSoup # BeautifulSoup是python处理HTML/XML的函数库,是Python内置的网页分析工具
import urllib # python自带的爬操作url的库


# 该方法传入url,返回url的html的源代码
def getHtmlCode(url):
  # 以下几行注释的代码在本程序中有加没加效果一样,但是为了隐藏自己避免被反爬虫可以假如这个伪装的头部请求
  headers = {
    'User-Agent': 'Mozilla/5.0(Linux; Android 6.0; Nexus 5 Build/MRA58N) \
    AppleWebKit/537.36(KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
  }
  # 将headers头部添加到url,模拟浏览器访问
  url = urllib.request.Request(url, headers=headers)

  # 将url页面的源代码保存成字符串
  page = urllib.request.urlopen(url).read()
  # 字符串转码
  page = page.decode('UTF-8')
  return page


# 该方法传入html的源代码,通过截取其中的img标签,将图片保存到本机
def getImage(page):
  # 按照html格式解析页面
  soup = BeautifulSoup(page, 'html.parser')
  # 格式化输出DOM树的内容
  print(soup.prettify())
  # 返回所有包含img标签的列表,因为在Html文件中图片的插入呈现形式是<img src="..." alt=".." />
  imgList = soup.find_all('img')
  x = 0
  # 循环找到的图片列表,注意,这里手动设置从第2张图片开始,是因为我debug看到了第一张图片不是我想要的图片
  for imgUrl in imgList[1:]:
    print('正在下载: %s ' % imgUrl.get('src'))
    # 得到scr的内容,这里返回的就是Url字符串链接,如'https://img2020.cnblogs.com/blog/1703588/202007/1703588-20200716203143042-623499171.png'
    image_url = imgUrl.get('src')
    # 这个image文件夹需要先创建好才能看到结果
    image_save_path = './image/%d.png' % x
    # 下载图片并且保存到指定文件夹中
    urllib.request.urlretrieve(image_url, image_save_path)
    x = x + 1
if __name__ == '__main__':
  # 指定要爬取的网站
  url = 'https://www.cnblogs.com/ttweixiao-IT-program/p/13324826.html'
  # 得到该网站的源代码
  page = getHtmlCode(url)
  # 爬取该网站的图片并且保存
  getImage(page)

这两种方法各有利弊,我觉得可以灵活结合使用这两种方法,比如先使用方法2中指定标签的方法缩小要寻找的内容范围,然后再使用正则表达式匹配想要的内容,这样做起来更加简洁明了。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python中splitlines()方法的使用简介
May 20 Python
python实现识别相似图片小结
Feb 22 Python
Python自定义类的数组排序实现代码
Aug 28 Python
浅谈Python处理PDF的方法
Nov 10 Python
Python3安装Scrapy的方法步骤
Nov 23 Python
Python将DataFrame的某一列作为index的方法
Apr 08 Python
Python实现在某个数组中查找一个值的算法示例
Jun 27 Python
解决django后台样式丢失,css资源加载失败的问题
Jun 11 Python
Flask框架请求钩子与request请求对象用法实例分析
Nov 07 Python
详解在python操作数据库中游标的使用方法
Nov 12 Python
Python+Django+MySQL实现基于Web版的增删改查的示例代码
May 13 Python
Matplotlib中rcParams使用方法
Jan 05 Python
详解Flask前后端分离项目案例
Jul 24 #Python
通过实例了解Python异常处理机制底层实现
Jul 23 #Python
Python异常处理机制结构实例解析
Jul 23 #Python
使用pygame实现垃圾分类小游戏功能(已获校级二等奖)
Jul 23 #Python
Python字符串函数strip()原理及用法详解
Jul 23 #Python
Python使用sys.exc_info()方法获取异常信息
Jul 23 #Python
Python中Selenium库使用教程详解
Jul 23 #Python
You might like
Godaddy空间Zend Optimizer升级方法
2010/05/10 PHP
php shell超强免杀、减少体积工具实现代码
2012/10/16 PHP
php中unserialize返回false的解决方法
2014/09/22 PHP
php基于单例模式封装mysql类完整实例
2016/10/18 PHP
php制作基于xml的RSS订阅源功能示例
2017/02/08 PHP
实例分析基于PHP微信网页获取用户信息
2017/11/24 PHP
PHP迭代器接口Iterator用法分析
2017/12/28 PHP
javascript不同页面传值的改进版
2008/09/30 Javascript
jquery 插件之仿“卓越亚马逊”首页弹出菜单效果
2008/12/25 Javascript
JavaScript全局函数使用简单说明
2011/03/11 Javascript
基于jquery的文章中所有图片width大小批量设置方法
2013/08/01 Javascript
使用jQuery插件创建常规模态窗口登陆效果
2013/08/23 Javascript
jquery仿搜索自动联想功能代码
2014/05/23 Javascript
js实现在网页上简单显示时间的方法
2015/03/02 Javascript
AngularJS快速入门
2015/04/02 Javascript
JS实现下拉菜单赋值到文本框的方法
2015/08/18 Javascript
JavaScript遍历求解数独问题的主要思路小结
2016/06/12 Javascript
jQuery实现 RadioButton做必选校验功能
2017/06/15 jQuery
nodejs body-parser 解析post数据实例
2017/07/26 NodeJs
原生js调用json方法总结
2018/02/22 Javascript
Node.js实现一个HTTP服务器的方法示例
2019/05/13 Javascript
vue 项目@change多个参数传值多个事件的操作
2021/01/29 Vue.js
JS hasOwnProperty()方法检测一个属性是否是对象的自有属性的方法
2021/01/29 Javascript
Python实现的简单文件传输服务器和客户端
2015/04/08 Python
python程序封装为win32服务的方法
2021/03/07 Python
字中字效果的实现【html5实例】
2016/05/03 HTML / CSS
荷兰演唱会和体育比赛订票网站:viagogo荷兰
2018/04/08 全球购物
Java面试笔试题大全
2016/11/23 面试题
公司庆典邀请函范文
2014/01/13 职场文书
人事经理岗位职责
2014/04/28 职场文书
保护环境的标语
2014/06/09 职场文书
个人作风建设剖析材料
2014/10/11 职场文书
六年级学生评语大全
2014/12/26 职场文书
公司感谢信范文
2015/01/22 职场文书
计生个人工作总结
2015/02/28 职场文书
高考百日冲刺决心书
2015/09/23 职场文书