Python爬虫之网页图片抓取的方法


Posted in Python onJuly 16, 2018

一、引入

这段时间一直在学习Python的东西,以前就听说Python爬虫多厉害,正好现在学到这里,跟着小甲鱼的Python视频写了一个爬虫程序,能实现简单的网页图片下载。

二、代码

__author__ = "JentZhang"
import urllib.request
import os
import random
import re
def url_open(url):
  '''
  打开网页
  :param url:
  :return:
  '''
  req = urllib.request.Request(url)
  req.add_header('User-Agent',
          'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.75 Safari/537.36')
  # 应用代理
  '''
  proxyies = ["111.155.116.237:8123","101.236.23.202:8866","122.114.31.177:808"]
  proxy = random.choice(proxyies)
  proxy_support = urllib.request.ProxyHandler({"http": proxy})
  opener = urllib.request.build_opener(proxy_support)
  urllib.request.install_opener(opener)
  '''
  response = urllib.request.urlopen(url)
  html = response.read()
  return html
def save_img(folder, img_addrs):
  '''
  保存图片
  :param folder: 要保存的文件夹
  :param img_addrs: 图片地址(列表)
  :return:
  '''
  # 创建文件夹用来存放图片
  if not os.path.exists(folder):
    os.mkdir(folder)
  os.chdir(folder)
  for each in img_addrs:
    filename = each.split('/')[-1]
    try:
      with open(filename, 'wb') as f:
        img = url_open("http:" + each)
        f.write(img)
    except urllib.error.HTTPError as e:
      # print(e.reason)
      pass
  print('完毕!')
def find_imgs(url):
  '''
  获取全部的图片链接
  :param url: 连接地址
  :return: 图片地址的列表
  '''
  html = url_open(url).decode("utf-8")
  img_addrs = re.findall(r'src="(.+?\.gif)', html)
  return img_addrs
def get_page(url):
  '''
  获取当前一共有多少页的图片
  :param url: 网页地址
  :return:
  '''
  html = url_open(url).decode('utf-8')
  a = html.find("current-comment-page") + 23
  b = html.find("]</span>", a)
  return html[a:b]
def download_mm(url="http://jandan.net/ooxx/", folder="OOXX", pages=1):
  '''
  主程序(下载图片)
  :param folder:默认存放的文件夹
  :param pages: 下载的页数
  :return:
  '''
  page_num = int(get_page(url))
  for i in range(pages):
    page_num -= i
    page_url = url + "page-" + str(page_num) + "#comments"
    img_addrs = find_imgs(page_url)
    save_img(folder, img_addrs)
if __name__ == "__main__":
  download_mm()

三、总结

由于代码中访问的网址已经运用了反爬虫的算法。所以已经爬不到想要的图片啦,so,就当是记了个爬虫的笔记吧。仅供学习参考[捂脸]。。。。

最后:我把jpg格式换成gif,还能爬到可怜的一张gif图:

Python爬虫之网页图片抓取的方法 

第一张正是反爬虫机制的一个图片占位符,完全没有任何内容

总结

以上所述是小编给大家介绍的Python爬虫之网页图片抓取的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
pymssql ntext字段调用问题解决方法
Dec 17 Python
详解Python的迭代器、生成器以及相关的itertools包
Apr 02 Python
Python实现对字符串的加密解密方法示例
Apr 29 Python
python 表达式和语句及for、while循环练习实例
Jul 07 Python
Python数据可视化编程通过Matplotlib创建散点图代码示例
Dec 09 Python
celery4+django2定时任务的实现代码
Dec 23 Python
Python正则表达式和re库知识点总结
Feb 11 Python
Python pip替换为阿里源的方法步骤
Jul 02 Python
Python实现读取并写入Excel文件过程解析
May 27 Python
PyTorch-GPU加速实例
Jun 23 Python
Python pygame实现中国象棋单机版源码
Jun 20 Python
Python极值整数的边界探讨分析
Sep 15 Python
python编辑用户登入界面的实现代码
Jul 16 #Python
python 反向输出字符串的方法
Jul 16 #Python
解决python3 urllib 链接中有中文的问题
Jul 16 #Python
如何用Python实现简单的Markdown转换器
Jul 16 #Python
详解python里的命名规范
Jul 16 #Python
Python 2.7中文显示与处理方法
Jul 16 #Python
Python定时任务sched模块用法示例
Jul 16 #Python
You might like
星际中一些鲜为人知的详细资料
2020/03/04 星际争霸
thinkphp中ajax与php响应过程详解
2014/12/08 PHP
PHP基于SMTP协议实现邮件发送实例代码
2017/04/27 PHP
thinkPHP5项目中实现QQ第三方登录功能
2017/10/20 PHP
PHP实现的字符串匹配算法示例【sunday算法】
2017/12/19 PHP
YII2框架中behavior行为的理解与使用方法示例
2020/03/13 PHP
javascript 基础篇3 类,回调函数,内置对象,事件处理
2012/03/14 Javascript
js判断选择的时间是否大于今天的代码
2013/08/20 Javascript
jquery 表格排序、实时搜索表格内容(附图)
2014/05/19 Javascript
jQuery子属性过滤选择器用法分析
2015/02/10 Javascript
JavaScript时间转换处理函数
2015/04/14 Javascript
JavaScript更改字符串的大小写
2015/05/07 Javascript
JavaScript中Null与Undefined的区别解析
2015/06/30 Javascript
简单谈谈javascript Date类型
2015/09/06 Javascript
AngularJS入门(用ng-repeat指令实现循环输出
2016/05/05 Javascript
Node.js DES加密的简单实现
2016/07/07 Javascript
Windows系统下安装Node.js的步骤图文详解
2016/11/15 Javascript
angular实现商品筛选功能
2017/02/01 Javascript
一道面试题引发的对javascript类型转换的思考
2017/03/06 Javascript
微信小程序-滚动消息通知的实例代码
2017/08/03 Javascript
详解Node.js amqplib 连接 Rabbit MQ最佳实践
2019/01/24 Javascript
实例讲解JS中pop使用方法
2019/01/27 Javascript
jquery实现简单自动轮播图效果
2020/07/29 jQuery
JS获取一个字符串中指定字符串第n次出现的位置
2021/02/10 Javascript
Python中使用ConfigParser解析ini配置文件实例
2014/08/30 Python
跟老齐学Python之有容乃大的list(4)
2014/09/28 Python
Python3实现将文件树中所有文件和子目录归档到tar压缩文件的方法
2015/05/22 Python
pandas去除重复列的实现方法
2019/01/29 Python
PyQt使用QPropertyAnimation开发简单动画
2020/04/02 Python
python seaborn heatmap可视化相关性矩阵实例
2020/06/03 Python
jupyter notebook 写代码自动补全的实现
2020/11/02 Python
西雅图电动自行车公司:Rad Power Bikes
2020/02/02 全球购物
会计专业自我鉴定范文
2013/12/29 职场文书
赡养老人协议书
2014/04/21 职场文书
2015年银行客户经理工作总结
2015/04/01 职场文书
护士长2015年终工作总结
2015/04/24 职场文书