Python爬虫之网页图片抓取的方法


Posted in Python onJuly 16, 2018

一、引入

这段时间一直在学习Python的东西,以前就听说Python爬虫多厉害,正好现在学到这里,跟着小甲鱼的Python视频写了一个爬虫程序,能实现简单的网页图片下载。

二、代码

__author__ = "JentZhang"
import urllib.request
import os
import random
import re
def url_open(url):
  '''
  打开网页
  :param url:
  :return:
  '''
  req = urllib.request.Request(url)
  req.add_header('User-Agent',
          'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36')
  # 应用代理
  '''
  proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"]
  proxy = random.choice(proxyies)
  proxy_support = urllib.request.ProxyHandler({"http": proxy})
  opener = urllib.request.build_opener(proxy_support)
  urllib.request.install_opener(opener)
  '''
  response = urllib.request.urlopen(url)
  html = response.read()
  return html
def save_img(folder, img_addrs):
  '''
  保存图片
  :param folder: 要保存的文件夹
  :param img_addrs: 图片地址(列表)
  :return:
  '''
  # 创建文件夹用来存放图片
  if not os.path.exists(folder):
    os.mkdir(folder)
  os.chdir(folder)
  for each in img_addrs:
    filename = each.split('/')[-1]
    try:
      with open(filename, 'wb') as f:
        img = url_open("http:" + each)
        f.write(img)
    except urllib.error.HTTPError as e:
      # print(e.reason)
      pass
  print('完毕!')
def find_imgs(url):
  '''
  获取全部的图片链接
  :param url: 连接地址
  :return: 图片地址的列表
  '''
  html = url_open(url).decode("utf-8")
  img_addrs = re.findall(r'src="(.+?\.gif)', html)
  return img_addrs
def get_page(url):
  '''
  获取当前一共有多少页的图片
  :param url: 网页地址
  :return:
  '''
  html = url_open(url).decode('utf-8')
  a = html.find("current-comment-page") + 23
  b = html.find("]</span>", a)
  return html[a:b]
def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1):
  '''
  主程序(下载图片)
  :param folder:默认存放的文件夹
  :param pages: 下载的页数
  :return:
  '''
  page_num = int(get_page(url))
  for i in range(pages):
    page_num -= i
    page_url = url + "page-" + str(page_num) + "#comments"
    img_addrs = find_imgs(page_url)
    save_img(folder, img_addrs)
if __name__ == "__main__":
  download_mm()

三、总结

由于代码中访问的网址已经运用了反爬虫的算法。所以已经爬不到想要的图片啦,so,就当是记了个爬虫的笔记吧。仅供学习参考[捂脸]。。。。

最后:我把jpg格式换成gif,还能爬到可怜的一张gif图:

Python爬虫之网页图片抓取的方法 

第一张正是反爬虫机制的一个图片占位符,完全没有任何内容

总结

以上所述是小编给大家介绍的Python爬虫之网页图片抓取的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python3操作SQL Server数据库(实例讲解)
Oct 21 Python
利用Python循环(包括while&amp;for)各种打印九九乘法表的实例
Nov 06 Python
Python常用字符串替换函数strip、replace及sub用法示例
May 21 Python
python动态进度条的实现代码
Jul 03 Python
django的分页器Paginator 从django中导入类
Jul 25 Python
Python 读取 YUV(NV12) 视频文件实例
Dec 09 Python
linux 下python多线程递归复制文件夹及文件夹中的文件
Jan 02 Python
keras和tensorflow使用fit_generator 批次训练操作
Jul 03 Python
Pytorch上下采样函数--interpolate用法
Jul 07 Python
详解Pycharm安装及Django安装配置指南
Sep 15 Python
基于tensorflow权重文件的解读
May 26 Python
pycharm无法安装cv2模块问题
May 20 Python
python编辑用户登入界面的实现代码
Jul 16 #Python
python 反向输出字符串的方法
Jul 16 #Python
解决python3 urllib 链接中有中文的问题
Jul 16 #Python
如何用Python实现简单的Markdown转换器
Jul 16 #Python
详解python里的命名规范
Jul 16 #Python
Python 2.7中文显示与处理方法
Jul 16 #Python
Python定时任务sched模块用法示例
Jul 16 #Python
You might like
PHP 防恶意刷新实现代码
2010/05/16 PHP
CI框架简单邮件发送类实例
2016/05/18 PHP
PHP递归实现快速排序的方法示例
2017/12/18 PHP
JavaScript 设计模式学习 Singleton
2009/07/27 Javascript
js 实现无干扰阴影效果 简单好用(附文件下载)
2009/12/27 Javascript
jquery+ashx无刷新GridView数据显示插件(实现分页、排序、过滤功能)
2010/04/25 Javascript
JS完整获取IE浏览器信息包括类型、版本、语言等等
2014/05/22 Javascript
jQuery源码分析之jQuery中的循环技巧详解
2014/09/06 Javascript
JavaScript代码因逗号不规范导致IE不兼容的问题
2016/02/25 Javascript
基于JS模仿windows文件按名称排序效果
2016/06/29 Javascript
深入浅析JavaScript中的scrollTop
2016/07/11 Javascript
vue实现可增删查改的成绩单
2016/10/27 Javascript
在网页中插入百度地图的步骤详解
2016/12/02 Javascript
关于react-router/react-router-dom v4 history不能访问问题的解决
2018/01/08 Javascript
详解基于Vue2.0实现的移动端弹窗(Alert, Confirm, Toast)组件
2018/08/02 Javascript
微信小程序自定义组件封装及父子间组件传值的方法
2018/08/28 Javascript
JavaScript禁用右键单击优缺点分析
2019/01/20 Javascript
layui使用表格渲染获取行数据的例子
2019/09/13 Javascript
react中hook介绍以及使用教程
2020/12/11 Javascript
[00:39]DOTA2上海特级锦标赛 Liquid战队宣传片
2016/03/04 DOTA
python实现JAVA源代码从ANSI到UTF-8的批量转换方法
2015/08/10 Python
浅谈PySpark SQL 相关知识介绍
2019/06/14 Python
浅谈Python_Openpyxl使用(最全总结)
2019/09/05 Python
详解如何获取localStorage最大存储大小的方法
2020/05/21 HTML / CSS
阿联酋航空假期:Emirates Holidays
2018/03/20 全球购物
韩国江南富人区高端时尚百货商场:Galleria(格乐丽雅)
2018/03/27 全球购物
印度尼西亚电子产品购物网站:Kliknklik
2018/06/05 全球购物
与世界上最好的跑步专业品牌合作:Fleet Feet
2019/03/22 全球购物
管理站站长岗位职责
2013/11/27 职场文书
会议邀请书范文
2014/02/02 职场文书
教师远程培训感言
2014/03/06 职场文书
陕西导游词
2015/02/04 职场文书
施工员岗位职责范本
2015/04/11 职场文书
2015年平安创建工作总结
2015/04/29 职场文书
2016情人节宣传语
2015/07/14 职场文书
校长新学期寄语2016
2015/12/04 职场文书