Python实现批量下载图片的方法


Posted in Python onJuly 08, 2015

本文实例讲述了Python实现批量下载图片的方法。分享给大家供大家参考。具体实现方法如下:

#!/usr/bin/env python
#-*-coding:utf-8-*-'
#Filename:download_file.py
import os,sys
import re
import urllib
import urllib2
base_url = 'xxx'
array_url = list()
pic_url = list()
inner_url = list()
def get_array_url(array_url,base_url):
  content = urllib.urlopen(base_url).read()
  array_url_a = re.findall(r'/rihan.*?.html',content)
  for url in array_url_a:
    url_a = 'xxx'+url
    #print url_a
    array_url.append(url_a)
def get_inner_url(array_url,inner_url):
  inner_url.append(array_url)
  content = urllib.urlopen(array_url[10]).read()
  content = content.replace(" ","")
  url_a = re.findall(r'<li>.*?</li>',content)
  for i in url_a:
    url = re.findall(r'ahref=\\'.*?.html\\'target',i)
    if len(url)>0:
      # print url[0]
      url_b = re.sub(r'ahref=\\'','',url[0])
      # print url_b
      url_c = re.sub(r'\\'target','',url_b)
      url_c = 'http://xxx/'+re.sub(r'/.*/','',url_c)
      inner_url.append(url_c)
  del inner_url[1]
  # print inner_url
def get_pic_url(pic_url,inner_url,array_url):
  content = urllib.urlopen(array_url).read()
  pic_url_a = re.findall(r'center.*?.jpg',content)
  print 'bbbbbbbbb',len(pic_url_a)
  pic_url_a = re.findall(r'http://.*.jpg',pic_url_a[0])
  pic_url.append(pic_url_a[0])
  j=2
  for i in inner_url:
    jj = '/'+str(j)+'.jpg'
    pic = re.sub(r'/1.jpg',jj,pic_url_a[0])
    pic_url.append(pic)
    j = j+1
  del pic_url[-1]
  for i in pic_url:
    print i
def urlcallback(a,b,c):
  """
    call back function
    a,已下载的数据块
    b,数据块的大小
    c,远程文件的大小
  """
  print "callback"
  prec=100.0*a*b/c
  if 100 < prec:
    prec=100
  print "%.2f%%"%(prec,)
def download(img_url,file_num):
    for img in img_url:
      print img
      img_name = re.sub(r'http://.*/','',img)
      path = 'C:/'+str(file_num)+'/'+img_name
      urllib.urlretrieve(img,path,urlcallback)
get_array_url(array_url,base_url)
file_num = 3
#download(pic_url,file_num)
get_inner_url(url,inner_url)
get_pic_url(pic_url,inner_url,url)
'''
for url in array_url:
  print url
  # get_inner_url(url,inner_url)
 # get_pic_url(pic_url,inner_url)
  get_inner_url(url,inner_url)
  get_pic_url(pic_url,inner_url,url)
  download(pic_url,file_num)
  file_num = file_num+1
  del inner_url[:]
  del pic_url[:]
'''

希望本文所述对大家的Python程序设计有所帮助。

Python 相关文章推荐
深入源码解析Python中的对象与类型
Dec 11 Python
分析python切片原理和方法
Dec 19 Python
Python Paramiko模块的使用实际案例
Feb 01 Python
浅谈Python的list中的选取范围
Nov 12 Python
为什么Python中没有&quot;a++&quot;这种写法
Nov 27 Python
使用django实现一个代码发布系统
Jul 18 Python
利用python在大量数据文件下删除某一行的例子
Aug 21 Python
Python 线性回归分析以及评价指标详解
Apr 02 Python
Django调用支付宝接口代码实例详解
Apr 04 Python
django正续或者倒序查库实例
May 19 Python
利用python进行文件操作
Dec 04 Python
selenium3.0+python之环境搭建的方法步骤
Feb 01 Python
python数据结构之图的实现方法
Jul 08 #Python
python数据结构之图深度优先和广度优先实例详解
Jul 08 #Python
python中偏函数partial用法实例分析
Jul 08 #Python
Python使用bs4获取58同城城市分类的方法
Jul 08 #Python
Python实现批量修改文件名实例
Jul 08 #Python
Python查询阿里巴巴关键字排名的方法
Jul 08 #Python
浅谈Python中的闭包
Jul 08 #Python
You might like
PHP 得到根目录的 __FILE__ 常量
2008/07/23 PHP
php的list()的一步操作给一组变量进行赋值的使用
2011/05/18 PHP
PHP输出图像imagegif、imagejpeg与imagepng函数用法分析
2016/11/14 PHP
多广告投放代码 推荐
2006/11/13 Javascript
ExtJs3.0中Store添加 baseParams 的Bug
2010/03/10 Javascript
围观tangram js库
2010/12/28 Javascript
纯Javascript实现Windows 8 Metro风格实现
2013/10/15 Javascript
js获取checkbox值的方法
2015/01/28 Javascript
Jquery中Event对象属性小结
2015/02/27 Javascript
jQuery使用empty()方法删除元素及其所有子元素的方法
2015/03/26 Javascript
JavaScript中iframe实现局部刷新的几种方法汇总
2016/01/06 Javascript
bootstrap学习笔记之初识bootstrap
2016/06/21 Javascript
javascript基本数据类型及类型检测常用方法小结
2016/12/14 Javascript
原生JS轮播图插件
2017/02/09 Javascript
微信小程序获取循环元素id以及wx.login登录操作
2017/08/17 Javascript
Bootstrap 模态框多次显示后台提交多次BUG的解决方法
2017/12/26 Javascript
微信小程序中进行地图导航功能的实现方法
2018/06/29 Javascript
微信小程序开发背景图显示功能
2018/08/08 Javascript
微信小程序实现的图片保存功能示例
2019/04/24 Javascript
发布订阅模式在vue中的实际运用实例详解
2019/06/09 Javascript
js实现的格式化数字和金额功能简单示例
2019/07/30 Javascript
通过实例了解Nodejs模块系统及require机制
2020/07/16 NodeJs
[03:20]次级联赛厮杀超职业 现超级兵对拆世纪大战
2014/10/30 DOTA
Python+Opencv识别两张相似图片
2020/03/23 Python
python入门基础之用户输入与模块初认识
2016/11/14 Python
Django 使用logging打印日志的实例
2018/04/28 Python
python如何实现单链表的反转
2020/02/10 Python
Python requests模块基础使用方法实例及高级应用(自动登陆,抓取网页源码)实例详解
2020/02/14 Python
如何搭建pytorch环境的方法步骤
2020/05/06 Python
常用的10个Python实用小技巧
2020/08/10 Python
HTML5使用ApplicationCache接口实现离线缓存技术解决离线难题
2012/12/13 HTML / CSS
盗窃罪辩护词范文
2015/05/21 职场文书
红与黑读书笔记
2015/06/29 职场文书
广播体操比赛主持词
2015/06/29 职场文书
2016教师党员学习心得体会
2016/01/21 职场文书
90后经典动画片排行:《数码宝贝》第二,《小鲤鱼历险记》在榜
2022/03/18 日漫