Python3实现Web网页图片下载


Posted in Python onJanuary 28, 2016

先来介绍一些python web编程基础知识

1. GET与POST区别

1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP 请求的内容,而GET是在HTTP 头部传输的;

2)POST与GET在HTTP 中传送的方式不同,GET的参数是在HTTP 的头部传送的,而Post的数据则是在HTTP 请求的内容里传送;

3)POST传输数据时,不需要在URL中显示出来,而GET方法要在URL中显示;

4)GET方法由于受到URL长度的限制,只能传递大约1024字节;POST传输的数据量大,可以达到2M

2. Cookies技术

Cookies现在经常被大家提到,那么到底什么是Cookies,它有什么作用 呢?

Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站 时,由Web服务器置于你硬盘上的一个非常小的文本文件,它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。

当你再次来到该网站时,网站通过读取Cookies,得知你的相关信息,就可以做出相应的动作,如在页面显示欢迎你的标语,或者让你不用输入ID、密码就直接登录等等。

从本质上讲,它可以看作是你的身份证。但Cookies不能作为代码执行,也不会传送病毒,且为你所专有,并只能由提供它的服务器来读取。

保存的信息片断以“名/值”对(name-value pairs)的形式储存,一个“名/值”对仅仅是一条命名的数据。

一个网站只能取得它放在你的电脑中的信息,它无法从其它的Cookies文件中取得信息,也无法得到你的电脑上的其它任何东西。

Cookies中的内容大多数经过了加密处理,因此一般用户看来只是一些毫无意义的字母数字组合,只有服务器的CGI处理程序才知道它们真正的含义。

Python3通过Web网页图片下载基本功能点

  • 要实现的主要功能点:
  • 解析网页中的图片链接
  • 对图片链接进行检测,如果图片格式 图片大小不符合要求,则不下载
  • 加入异常处理机制
  • 自动文件名提取,从图片链接直接提取文件名

Python3通过Web网页图片下载参考代码:

from urllib import request
import threading
from time import sleep,ctime
from html import parser
def downjpg( filepath,FileName ="default.jpg" ):
 try:
  web = request.urlopen( filepath)
  print("访问网络文件"+filepath+"\n")
  jpg = web.read()
  DstDir="E:\\image\\"
  print("保存文件"+DstDir+FileName+"\n")
  try:
   File = open( DstDir+FileName,"wb" )
   File.write( jpg)
   File.close()
   return
  except IOError:
   print("error\n")
   return
 except Exception:
  print("error\n")
  return
def downjpgmutithread( filepathlist ):
 print("共有%d个文件需要下载"%len(filepathlist))
 for file in filepathlist:
  print( file )
 print("开始多线程下载")
 task_threads=[] #存储线程
 count=1
 for file in filepathlist:
  t= threading.Thread( target=downjpg,args=(file,"%d.jpg"%count) )
  count=count+1
  task_threads.append(t)
 for task in task_threads:
  task.start()
 for task in task_threads:
  task.join() #等待所有线程结束
 print("线程结束")
class parserLinks( parser.HTMLParser):
 filelist=[]
 def handle_starttag(self,tag,attrs):
  if tag == 'img':
   for name,value in attrs:
    if name == 'src':
     print( value)
     self.filelist.append(value)
     #print( self.get_starttag_text() )
 def getfilelist(self):
  return self.filelist
def main(WebUrl):
 #globals flist
 if __name__ == "__main__":
  lparser = parserLinks()
  web = request.urlopen( WebUrl )
  #context= web.read()
  for context in web.readlines():
   _str="%s"%context
   try:
    lparser.feed( _str)
   except parser.HTMLParseError:
    #print( "parser error")
    pass
  web.close()
  imagelist= lparser.getfilelist()
  downjpgmutithread( imagelist)  
  #downjpgmutithread( flist)
#WebUrl="http://www.baidu.com/" #要抓去的网页链接,默认保存到e盘
WebUrl="http://hi.baidu.com/yuyinxuezi/item/df0b59140a06be27f6625cd4"
main(WebUrl)

以上就是Python3实现Web网页图片下载的相关介绍,希望对大家的学习有所帮助。

Python 相关文章推荐
Python批量转换文件编码格式
May 17 Python
python 迭代器和iter()函数详解及实例
Mar 21 Python
Python编程实现使用线性回归预测数据
Dec 07 Python
python实现读Excel写入.txt的方法
Apr 29 Python
python list格式数据excel导出方法
Oct 31 Python
对python 操作solr索引数据的实例详解
Dec 07 Python
Python Tkinter 简单登录界面的实现
Jun 14 Python
PyQt5基本控件使用详解:单选按钮、复选框、下拉框
Aug 05 Python
在python image 中实现安装中文字体
May 16 Python
python 中的9个实用技巧,助你提高开发效率
Aug 30 Python
python opencv通过4坐标剪裁图片
Jun 05 Python
Python正则获取、过滤或者替换HTML标签的方法
Jan 28 #Python
Python每天必学之bytes字节
Jan 28 #Python
Python装饰器入门学习教程(九步学习)
Jan 28 #Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 #Python
使用Python写个小监控
Jan 27 #Python
基于Python实现通过微信搜索功能查看谁把你删除了
Jan 27 #Python
Python图像灰度变换及图像数组操作
Jan 27 #Python
You might like
Php注入点构造代码
2008/06/14 PHP
网站用php实现paypal整合方法
2010/11/28 PHP
PHP实现变色验证码实例
2014/01/06 PHP
完美解决Thinkphp3.2中插入相同数据的问题
2017/08/01 PHP
PHP调用微博接口实现微博登录的方法示例
2018/09/22 PHP
Laravel 登录后清空COOKIE的操作方法
2019/10/14 PHP
经验几则 推荐
2006/09/05 Javascript
JavaScript 变量命名规则
2009/09/23 Javascript
JS方法调用括号的问题探讨
2014/01/24 Javascript
jquery选择器大全 全面详解jquery选择器
2014/03/06 Javascript
JQuery拖动表头边框线调整表格列宽效果代码
2014/09/10 Javascript
浅谈javascript中的闭包
2015/05/13 Javascript
JavaScript检测鼠标移动方向的方法
2015/05/22 Javascript
开启Javascript中apply、call、bind的用法之旅模式
2015/10/28 Javascript
jquery彩色投票进度条简单实例演示
2020/07/23 Javascript
javascript插件开发的一些感想和心得
2016/02/28 Javascript
jQuery+ajax的资源回收处理机制分析
2017/01/07 Javascript
Angularjs分页查询的实现
2017/02/24 Javascript
实例讲解DataTables固定表格宽度(设置横向滚动条)
2017/07/11 Javascript
使用Vue自定义数字键盘组件(体验度极好)
2017/12/19 Javascript
vue完成项目后,打包成静态文件的方法
2018/09/03 Javascript
JS实现图片切换特效
2019/12/23 Javascript
微信小程序实现吸顶效果
2020/01/08 Javascript
js实现表单项的全选、反选及删除操作示例
2020/06/05 Javascript
Vue如何循环提取对象数组中的值
2020/11/18 Vue.js
Python性能优化技巧
2015/03/09 Python
详解Python基础random模块随机数的生成
2019/03/23 Python
Python如何实现强制数据类型转换
2019/11/22 Python
Python自动重新加载模块详解(autoreload module)
2020/04/01 Python
如何使用python socket模块实现简单的文件下载
2020/09/04 Python
利用CSS3实现平移动画效果示例代码
2016/10/12 HTML / CSS
HTML5中使用postMessage实现Ajax跨域请求的方法
2016/04/19 HTML / CSS
Eastbay官网:美国最大的运动鞋网络零售商
2016/07/27 全球购物
美国农场商店:Blain’s Farm & Fleet
2020/01/17 全球购物
2015年食品安全宣传周活动总结
2015/07/09 职场文书
Go各时间字符串使用解析
2021/04/02 Golang