Python3实现Web网页图片下载


Posted in Python onJanuary 28, 2016

先来介绍一些python web编程基础知识

1. GET与POST区别

1)POST是被设计用来向web服务器上放东西的,而GET是被设计用来从服务器取东西的,GET也能够向服务器传送较少的数据,而Get之所以也能传送数据,只是用来设计告诉服务器,你到底需要什么样的数据.POST的信息作为HTTP 请求的内容,而GET是在HTTP 头部传输的;

2)POST与GET在HTTP 中传送的方式不同,GET的参数是在HTTP 的头部传送的,而Post的数据则是在HTTP 请求的内容里传送;

3)POST传输数据时,不需要在URL中显示出来,而GET方法要在URL中显示;

4)GET方法由于受到URL长度的限制,只能传递大约1024字节;POST传输的数据量大,可以达到2M

2. Cookies技术

Cookies现在经常被大家提到,那么到底什么是Cookies,它有什么作用 呢?

Cookies是一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。Cookies是当你浏览某网站 时,由Web服务器置于你硬盘上的一个非常小的文本文件,它可以记录你的用户ID、密码、浏览过的网页、停留的时间等信息。

当你再次来到该网站时,网站通过读取Cookies,得知你的相关信息,就可以做出相应的动作,如在页面显示欢迎你的标语,或者让你不用输入ID、密码就直接登录等等。

从本质上讲,它可以看作是你的身份证。但Cookies不能作为代码执行,也不会传送病毒,且为你所专有,并只能由提供它的服务器来读取。

保存的信息片断以“名/值”对(name-value pairs)的形式储存,一个“名/值”对仅仅是一条命名的数据。

一个网站只能取得它放在你的电脑中的信息,它无法从其它的Cookies文件中取得信息,也无法得到你的电脑上的其它任何东西。

Cookies中的内容大多数经过了加密处理,因此一般用户看来只是一些毫无意义的字母数字组合,只有服务器的CGI处理程序才知道它们真正的含义。

Python3通过Web网页图片下载基本功能点

  • 要实现的主要功能点:
  • 解析网页中的图片链接
  • 对图片链接进行检测,如果图片格式 图片大小不符合要求,则不下载
  • 加入异常处理机制
  • 自动文件名提取,从图片链接直接提取文件名

Python3通过Web网页图片下载参考代码:

from urllib import request
import threading
from time import sleep,ctime
from html import parser
def downjpg( filepath,FileName ="default.jpg" ):
 try:
  web = request.urlopen( filepath)
  print("访问网络文件"+filepath+"\n")
  jpg = web.read()
  DstDir="E:\\image\\"
  print("保存文件"+DstDir+FileName+"\n")
  try:
   File = open( DstDir+FileName,"wb" )
   File.write( jpg)
   File.close()
   return
  except IOError:
   print("error\n")
   return
 except Exception:
  print("error\n")
  return
def downjpgmutithread( filepathlist ):
 print("共有%d个文件需要下载"%len(filepathlist))
 for file in filepathlist:
  print( file )
 print("开始多线程下载")
 task_threads=[] #存储线程
 count=1
 for file in filepathlist:
  t= threading.Thread( target=downjpg,args=(file,"%d.jpg"%count) )
  count=count+1
  task_threads.append(t)
 for task in task_threads:
  task.start()
 for task in task_threads:
  task.join() #等待所有线程结束
 print("线程结束")
class parserLinks( parser.HTMLParser):
 filelist=[]
 def handle_starttag(self,tag,attrs):
  if tag == 'img':
   for name,value in attrs:
    if name == 'src':
     print( value)
     self.filelist.append(value)
     #print( self.get_starttag_text() )
 def getfilelist(self):
  return self.filelist
def main(WebUrl):
 #globals flist
 if __name__ == "__main__":
  lparser = parserLinks()
  web = request.urlopen( WebUrl )
  #context= web.read()
  for context in web.readlines():
   _str="%s"%context
   try:
    lparser.feed( _str)
   except parser.HTMLParseError:
    #print( "parser error")
    pass
  web.close()
  imagelist= lparser.getfilelist()
  downjpgmutithread( imagelist)  
  #downjpgmutithread( flist)
#WebUrl="http://www.baidu.com/" #要抓去的网页链接,默认保存到e盘
WebUrl="http://hi.baidu.com/yuyinxuezi/item/df0b59140a06be27f6625cd4"
main(WebUrl)

以上就是Python3实现Web网页图片下载的相关介绍,希望对大家的学习有所帮助。

Python 相关文章推荐
Python文件右键找不到IDLE打开项解决办法
Jun 08 Python
独特的python循环语句
Nov 20 Python
Python 通过pip安装Django详细介绍
Apr 28 Python
python 寻找优化使成本函数最小的最优解的方法
Dec 28 Python
python 通过SSHTunnelForwarder隧道连接redis的方法
Feb 19 Python
Python实现堡垒机模式下远程命令执行操作示例
May 09 Python
Python内存管理实例分析
Jul 10 Python
Python代码使用 Pyftpdlib实现FTP服务器功能
Jul 22 Python
使用Python脚本zabbix自定义key监控oracle连接状态
Aug 28 Python
Python实现密钥密码(加解密)实例详解
Apr 26 Python
pandas实现导出数据的四种方式
Dec 13 Python
python如何读取.mtx文件
Apr 22 Python
Python正则获取、过滤或者替换HTML标签的方法
Jan 28 #Python
Python每天必学之bytes字节
Jan 28 #Python
Python装饰器入门学习教程(九步学习)
Jan 28 #Python
基于Python如何使用AIML搭建聊天机器人
Jan 27 #Python
使用Python写个小监控
Jan 27 #Python
基于Python实现通过微信搜索功能查看谁把你删除了
Jan 27 #Python
Python图像灰度变换及图像数组操作
Jan 27 #Python
You might like
十大催泪虐心动漫,你能坚持看到第几部?
2020/03/04 日漫
linux中cd命令使用详解
2015/01/08 PHP
Firebug 字幕文件JSON地址获取代码
2009/10/28 Javascript
javascript中的继承实例代码
2011/04/27 Javascript
JavaScript中for-in遍历方式示例介绍
2014/02/11 Javascript
js弹出div并显示遮罩层
2014/02/12 Javascript
javascript中HTMLDOM操作详解
2014/12/11 Javascript
JavaScript返回网页中锚点数目的方法
2015/04/03 Javascript
javascript简单实现滑动菜单效果的方法
2015/07/27 Javascript
jQuery1.9.1源码分析系列(十六)ajax之ajax框架
2015/12/04 Javascript
AngularJS 作用域详解及示例代码
2016/08/17 Javascript
bootstrap3 dialog 更强大、更灵活的模态框
2017/04/20 Javascript
基于vue-cli创建的项目的目录结构及说明介绍
2017/11/23 Javascript
最新Javascript程序员面试试题和解题方法
2017/11/23 Javascript
nodejs前端模板引擎swig入门详解
2018/05/15 NodeJs
解决Layui选择全部,换页checkbox复选框重新勾选的问题方法
2018/08/14 Javascript
使用 Angular RouteReuseStrategy 缓存(路由)组件的实例代码
2019/11/01 Javascript
Vue +WebSocket + WaveSurferJS 实现H5聊天对话交互的实例
2020/11/18 Vue.js
vue表单验证之禁止input输入框输入空格
2020/12/03 Vue.js
[56:01]2018DOTA2亚洲邀请赛 3.31 小组赛 B组 Effect vs EG
2018/03/31 DOTA
基于python中的TCP及UDP(详解)
2017/11/06 Python
python实现合并两个排序的链表
2019/03/03 Python
11个Python3字典内置方法大全与示例汇总
2019/05/13 Python
详解Django ORM引发的数据库N+1性能问题
2020/10/12 Python
css 省略号 css3让多余的字符串消失并附加省略号的实现代码
2013/02/07 HTML / CSS
详解CSS3中强大的filter(滤镜)属性
2017/06/29 HTML / CSS
HTML5中外部浏览器唤起微信分享
2020/01/02 HTML / CSS
美国波西米亚风格精品店:South Moon Under
2019/10/26 全球购物
领导证婚人证婚词
2014/01/13 职场文书
生产车间标语
2014/06/11 职场文书
数学教师个人总结
2015/02/06 职场文书
员工福利申请报告
2015/05/15 职场文书
2015年妇委会工作总结
2015/05/22 职场文书
法人代表证明书范本
2015/06/18 职场文书
nginx常用配置conf的示例代码详解
2022/03/21 Servers
vue3使用vuedraggable实现拖拽功能
2022/04/06 Vue.js