Python3实现Web网页图片下载


Posted in Python onJanuary 28, 2016

先来介绍一些python web编程基础知识

1. GET与POST区别

1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP 请求的内容,而GET是在HTTP 头部传输的;

2)POST与GET在HTTP 中传送的方式不同,GET的参数是在HTTP 的头部传送的,而Post的数据则是在HTTP 请求的内容里传送;

3)POST传输数据时,不需要在URL中显示出来,而GET方法要在URL中显示;

4)GET方法由于受到URL长度的限制,只能传递大约1024字节;POST传输的数据量大,可以达到2M

2. Cookies技术

Cookies现在经常被大家提到,那么到底什么是Cookies,它有什么作用 呢?

Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站 时,由Web服务器置于你硬盘上的一个非常小的文本文件,它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。

当你再次来到该网站时,网站通过读取Cookies,得知你的相关信息,就可以做出相应的动作,如在页面显示欢迎你的标语,或者让你不用输入ID、密码就直接登录等等。

从本质上讲,它可以看作是你的身份证。但Cookies不能作为代码执行,也不会传送病毒,且为你所专有,并只能由提供它的服务器来读取。

保存的信息片断以“名/值”对(name-value pairs)的形式储存,一个“名/值”对仅仅是一条命名的数据。

一个网站只能取得它放在你的电脑中的信息,它无法从其它的Cookies文件中取得信息,也无法得到你的电脑上的其它任何东西。

Cookies中的内容大多数经过了加密处理,因此一般用户看来只是一些毫无意义的字母数字组合,只有服务器的CGI处理程序才知道它们真正的含义。

Python3通过Web网页图片下载基本功能点

  • 要实现的主要功能点:
  • 解析网页中的图片链接
  • 对图片链接进行检测,如果图片格式 图片大小不符合要求,则不下载
  • 加入异常处理机制
  • 自动文件名提取,从图片链接直接提取文件名

Python3通过Web网页图片下载参考代码:

from urllib import request
import threading
from time import sleep,ctime
from html import parser
def downjpg( filepath,FileName ="default.jpg" ):
 try:
  web = request.urlopen( filepath)
  print("访问网络文件"+filepath+"\n")
  jpg = web.read()
  DstDir="E:\\image\\"
  print("保存文件"+DstDir+FileName+"\n")
  try:
   File = open( DstDir+FileName,"wb" )
   File.write( jpg)
   File.close()
   return
  except IOError:
   print("error\n")
   return
 except Exception:
  print("error\n")
  return
def downjpgmutithread( filepathlist ):
 print("共有%d个文件需要下载"%len(filepathlist))
 for file in filepathlist:
  print( file )
 print("开始多线程下载")
 task_threads=[] #存储线程
 count=1
 for file in filepathlist:
  t= threading.Thread( target=downjpg,args=(file,"%d.jpg"%count) )
  count=count+1
  task_threads.append(t)
 for task in task_threads:
  task.start()
 for task in task_threads:
  task.join() #等待所有线程结束
 print("线程结束")
class parserLinks( parser.HTMLParser):
 filelist=[]
 def handle_starttag(self,tag,attrs):
  if tag == 'img':
   for name,value in attrs:
    if name == 'src':
     print( value)
     self.filelist.append(value)
     #print( self.get_starttag_text() )
 def getfilelist(self):
  return self.filelist
def main(WebUrl):
 #globals flist
 if __name__ == "__main__":
  lparser = parserLinks()
  web = request.urlopen( WebUrl )
  #context= web.read()
  for context in web.readlines():
   _str="%s"%context
   try:
    lparser.feed( _str)
   except parser.HTMLParseError:
    #print( "parser error")
    pass
  web.close()
  imagelist= lparser.getfilelist()
  downjpgmutithread( imagelist)  
  #downjpgmutithread( flist)
#WebUrl="http://www.baidu.com/" #要抓去的网页链接,默认保存到e盘
WebUrl="http://hi.baidu.com/yuyinxuezi/item/df0b59140a06be27f6625cd4"
main(WebUrl)

以上就是Python3实现Web网页图片下载的相关介绍,希望对大家的学习有所帮助。

Python 相关文章推荐
Python内置函数Type()函数一个有趣的用法
Feb 18 Python
Python功能键的读取方法
May 28 Python
Tensorflow卷积神经网络实例进阶
May 24 Python
Python基于plotly模块实现的画图操作示例
Jan 23 Python
详解python调用cmd命令三种方法
Jul 08 Python
Python中正反斜杠(‘/’和‘\’)的意义与用法
Aug 12 Python
django model通过字典更新数据实例
Apr 01 Python
spyder 在控制台(console)执行python文件,debug python程序方式
Apr 20 Python
使用keras根据层名称来初始化网络
May 21 Python
浅谈Python 命令行参数argparse写入图片路径操作
Jul 12 Python
利用Python实现最小二乘法与梯度下降算法
Feb 21 Python
Django中celery的使用项目实例
Jul 07 Python
Python正则获取、过滤或者替换HTML标签的方法
Jan 28 #Python
Python每天必学之bytes字节
Jan 28 #Python
Python装饰器入门学习教程(九步学习)
Jan 28 #Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 #Python
使用Python写个小监控
Jan 27 #Python
基于Python实现通过微信搜索功能查看谁把你删除了
Jan 27 #Python
Python图像灰度变换及图像数组操作
Jan 27 #Python
You might like
发布一个用PHP fsockopen写的HTTP下载的类
2007/02/22 PHP
为PHP安装imagick时出现Cannot locate header file MagickWand.h错误的解决方法
2014/11/03 PHP
PHP加密解密实例分析
2015/12/25 PHP
php对xml文件的增删改查操作实现方法分析
2017/05/19 PHP
PHP中define() 与 const定义常量的区别详解
2019/06/25 PHP
laravel 解决Validator使用中出现的问题
2019/10/25 PHP
javascript 学习笔记(八)javascript对象
2011/04/12 Javascript
jsTree 基于JQuery的排序节点 Bug
2011/07/26 Javascript
eval的两组性能测试数据
2012/08/17 Javascript
PHP PDO操作总结
2014/11/17 Javascript
推荐4个原生javascript常用的函数
2015/01/12 Javascript
JS设置cookie、读取cookie、删除cookie
2015/04/17 Javascript
深入理解JavaScript中的块级作用域、私有变量与模块模式
2016/10/31 Javascript
关于json字符串与实体之间的严格验证代码
2016/11/10 Javascript
Javascript之面向对象--方法
2016/12/02 Javascript
微信小程序引用公共js里的方法的实例详解
2017/08/17 Javascript
React-Native中禁用Navigator手势返回的示例代码
2017/09/09 Javascript
详解wow.js中各种特效对应的类名
2017/09/13 Javascript
JavaScript正则表达式和级联效果
2017/09/14 Javascript
深入理解node.js http模块
2018/01/24 Javascript
Vue2.0结合webuploader实现文件分片上传功能
2018/03/09 Javascript
AngularJs用户输入动态模板XSS攻击示例详解
2018/04/21 Javascript
Vue.js中关于侦听器(watch)的高级用法示例
2018/05/02 Javascript
[05:06]DOTA2-DPC中国联赛 正赛 VG vs Magma选手采访
2021/03/11 DOTA
Python递归函数定义与用法示例
2017/06/02 Python
Python实现返回数组中第i小元素的方法示例
2017/12/04 Python
Python Websocket服务端通信的使用示例
2020/02/25 Python
python递归函数求n的阶乘,优缺点及递归次数设置方式
2020/04/02 Python
pytorch判断是否cuda 判断变量类型方式
2020/06/23 Python
分享unittest单元测试框架中几种常用的用例加载方法
2020/12/02 Python
意大利香水和彩妆护肤品购物网站:Ditano
2017/08/13 全球购物
致百米运动员广播稿
2014/01/29 职场文书
仓管员岗位责任制
2014/02/19 职场文书
保险专业求职信
2014/07/07 职场文书
保安2014年终工作总结
2014/12/06 职场文书
java中如何截取字符串最后一位
2022/07/07 Java/Android