Python FtpLib模块应用操作详解


Posted in Python onDecember 12, 2019

本文实例讲述了Python FtpLib模块应用操作。分享给大家供大家参考,具体如下:

Python之FtpLib模块应用

工厂中有这样的应用场景: 需要不间断地把设备电脑生成的数据文件上传到远程文件存储服务器NAS中。

在python自带的标准库中找到ftplib模块,可以帮助实现文件的上传。

场景功能的实现需要做到以下几点:

  • 给定本地路径,上传范围是否包含子文件夹及其文件
  • 限定或不限定 哪些文件类型的文件,文件名包含哪些字符串的文件
  • 文件上传后,本地是否要保留
  • 扫完一次本地路径,进行下次循环的间隔周期
  • 生成log日志方便查看报错与已上传的文件,日志文件保留多久之后要删除

思路是这样子,以上内容设计成一个config 文件进行管控。

1.config.xml文件设置

<?xml version="1.0"?>
<Config>
 <ServerIP>10.16.xx.xx</ServerIP>
 <UserID>cc</UserID>
 <Passwd>xxx</Passwd>
 <LogBackupDay>10</LogBackupDay>
 <UploadCheck>TRUE</UploadCheck>
 <Loop_Sec>30</Loop_Sec>
 <LocalDirectory>C:\Users\Administrator\Desktop\TEST\</LocalDirectory>
 <RemoteDirectory>/DATA/AOI/T1TEST200/</RemoteDirectory>
 <FileExtension>csv</FileExtension>
 <FileNameContain>*</FileNameContain>
 <SubDirectoryCheck>TRUE</SubDirectoryCheck>
 <SubDirectoryCreateCheck>FALSE</SubDirectoryCreateCheck>
 <LocalFileBackupCheck>TRUE</LocalFileBackupCheck>
 <FileCreateTime>80</FileCreateTime>
</Config>
  • LogBackupDay 日志保留天数
  • UploadCheck 是否开启上传
  • Loop_Sec 扫描循环周期
  • LocalDirectory 本地路径,结尾必须有路径分隔符
  • RemoteDirectory 远程路径,结尾必须有路径分隔符
  • FileExtension 文件类型,jpg,txt,py,log等等,为*时不限制文件类型
  • FileNameContain 文件名字符串 , 文件名包含哪些字符串的文件,为*时不限制文件名
  • SubDirectoryCheck 子文件夹的文件是否上传
  • SubDirectoryCreateCheck 远程路径是否创建和本地路径一样的文件夹
  • LocalFileBackupCheck 本地文件是否保留
  • FIleCreateTime 扫描本地路径中创建时间为多少个小时内的文件或文件夹

以下是读取config.xml的代码

from xml.dom.minidom import parse
def readConfig():
  '''读取上传配置'''
  conf=parse(os.getcwd()+os.sep+'config.xml');#config文件与程序放在同一目录
  host=conf.getElementsByTagName("ServerIP")[0].firstChild.data
  username =conf.getElementsByTagName("UserID")[0].firstChild.data
  passwd=conf.getElementsByTagName("Passwd")[0].firstChild.data
  logBackupDay=int(conf.getElementsByTagName("LogBackupDay")[0].firstChild.data)
  uploadCheck=conf.getElementsByTagName("UploadCheck")[0].firstChild.data
  uploadLoopTime=int(conf.getElementsByTagName("Loop_Sec")[0].firstChild.data)
  localDir=conf.getElementsByTagName("LocalDirectory")[0].firstChild.data
  remoteDir=conf.getElementsByTagName("RemoteDirectory")[0].firstChild.data
  fileExtension=conf.getElementsByTagName("FileExtension")[0].firstChild.data
  fileNameContain=conf.getElementsByTagName("TxtFileNameContain")[0].firstChild.data
  subDirCheck=conf.getElementsByTagName("SubDirectoryCheck")[0].firstChild.data
  subDirCreateCheck=conf.getElementsByTagName("SubDirectoryCreateCheck")[0].firstChild.data
  backupCheck=conf.getElementsByTagName("LocalFileBackupCheck")[0].firstChild.data
  fileCreateTime=int(conf.getElementsByTagName("FileCreateTime")[0].firstChild.data)
  conflist=[host,username,passwd,logBackupDay,uploadCheck,uploadLoopTime,
       localDir,remoteDir,fileExtension,fileNameContain,
       subDirCheck,subDirCreateCheck,backupCheck,fileCreateTime]
  return conflist

2.相关逻辑实现

文件类型及文件名检验

def checkFileExtension(localfile,extension):
  '''
  检查文件名是否符合需要上传的文件类型
  extension为*时,无文件类型限制上传
  '''
  if extension=="*":
    return True
  elif localfile.endswith(extension):
    return True
  else:
    return False
def checkFileNameContains(localfile,filecontain):
  '''
  检查特定文件名的文件
  filecontain 为 * 时,不限制上传文件名
  '''
  if filecontain=="*":
    return True
  elif filecontain in localfile:
    return True
  else:
    return False

文件上传之后,本地是否保留

def deleteLocalFile(deleteCheck,localfile):
  if not deleteCheck:
    os.remove(localfile)
    logger.info("Remove local file:{}".format(localfile))

只上传创建时间为N个小时内的文件或文件夹

def checkFileModifiedTime(localfile,hour):
  '''只上传创建时间为hour小时内的文件'''
  if os.stat(localfile).st_ctime<time.time()-hour*3600:
    return False
  else:
    return True

生成日志,日志文件保留多久

#创建logger日志
logger = logging.getLogger()
logger.setLevel(logging.INFO)
#filehandler
rq = time.strftime('%Y%m%d', time.localtime(time.time()))
log_path = os.getcwd()+os.sep + 'Logs'+os.sep
if not os.path.exists(log_path):
  os.mkdir(log_path)
log_name = log_path + rq + '.log'
logfile = log_name
fh = logging.FileHandler(logfile, mode='w')
fh.setLevel(logging.DEBUG)
#filehandler输出格式
formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
fh.setFormatter(formatter)
logger.addHandler(fh)
def deleteLog(days):
  '''删除多少天之前的日志文件'''
  for file2 in os.listdir(log_path):
    logfile=os.path.join(log_path,file2)
    if os.stat(logfile).st_ctime<time.time()-days*24*3600:
      os.remove(logfile)

展开子文件夹及相关判断逻辑

def listFile(ftp,local,remote,subdircreatecheck,extension,filenamecontains,filecreatetime,
localBackupCheck):
  '''递归调用出子文件或子文件夹 
  ftp FTP实例
  local 本地文件[夹]
  remote 远程文件[夹]
  subdircreatecheck 远程是否创建对应的子文件夹
  extension 文件类型
  filecontains 文件名必须包含
  filecreatetime 文件修改时间在多少小时内的
  localBackupCheck 本地文件是否保留
  '''
  for file in os.listdir(local):
    local2=os.path.join(local,file) #路径+文件名为 完整路径
    remote2=remote+'/'+file
    try:
      if not checkFileModifiedTime(local2,filecreatetime):
        continue
      if not subdircreatecheck:
        remote2=remote
      if os.path.isdir(local2):
        try:             #验证ftp远程是否已有目录  
          ftp.cwd(remote2)     #打开远程目录,无法打开则报异常,在异常处理里面创建远程目录
        except Exception as e:
          logger.error("Fail to open directory.")
          logger.info("Open directory: {} fail,so create dir.".format(remote2))
          ftp.mkd(remote2)
          logger.info("ItslocalDir:{}".format(local2))
        listFile(ftp,local2,remote2,subdircreatecheck,extension,filenamecontains,
             filecreatetime,localBackupCheck)
      else:
        if checkFileExtension(local2,extension):
          if checkFileNameContains(local2,filenamecontains):
            remote2=remote+'/'+file
            upload(ftp,local2,remote2)
            deleteLocalFile(local2,localBackupCheck)
    except Exception as e:
      logger.error(e.args[0])

上传及异常检验

远程文件已存在并且大小与本地一致时无需上传,使用ftp.size()对比远程文件与本地文件大小即可,出现异常表明远程文件不存在。

def upload(ftp,localFile,remoteFile):
  '''以二进制形式上传文件
  ftp.size()验证远程文件是否存在并且判断文件大小
  '''
  try:
    if ftp.size(remoteFile)==os.path.getsize(localFile):
      return
  except ftplib.error_perm as err:
    logger.warning("{0}.When upload file:{1}".format(err.args[0],remoteFile))
  except Exception as e:
    logger.warning("other error!")
  uf = open(localFile, 'rb')
  bufsize = 1024 # 设置缓冲器大小
  try:
    ftp.storbinary('STOR ' + remoteFile, uf, bufsize)
    logger.info("File has upload success:{}".format(remoteFile))
  except:
    logger.error("File Upload Fail!:{}".format(remoteFile))
  finally:
    uf.close()

周期循环

logger.info("File Send Program Start!")
while uploadCheck:
  logger.info("File Send Program LoopStart!")
  deleteLog(logBackupDay)
  f=ftplib.FTP(host)
  try:
    ###
  except:
    ###
  finally:
    f.quit()
  logger.info("Loop end,wait for next loop!")
  time.sleep(loopTime)

3.打包exe文件

值的注意的是,64位python环境下打包的exe不能在32位的Win7、xp运行。最后使用32位的python环境进行打包。

pyinstaller -i jftp.ico -F Jftp.py -w

code具体详情请查看github-jftp

希望本文所述对大家Python程序设计有所帮助。

Python 相关文章推荐
python读取注册表中值的方法
Apr 08 Python
从零学Python之入门(五)缩进和选择
May 27 Python
Python实现简单的文件传输与MySQL备份的脚本分享
Jan 03 Python
分享一下Python数据分析常用的8款工具
Apr 29 Python
python实现手机销售管理系统
Mar 19 Python
python或C++读取指定文件夹下的所有图片
Aug 31 Python
django 中使用DateTime常用的时间查询方式
Dec 03 Python
pytorch 实现查看网络中的参数
Jan 06 Python
Python+Django+MySQL实现基于Web版的增删改查的示例代码
May 13 Python
keras处理欠拟合和过拟合的实例讲解
May 25 Python
python框架flask入门之路由及简单实现方法
Jun 07 Python
python绘图subplots函数使用模板的示例代码
Apr 30 Python
Python PyInstaller库基本使用方法分析
Dec 12 #Python
Python + Requests + Unittest接口自动化测试实例分析
Dec 12 #Python
python opencv图片编码为h264文件的实例
Dec 12 #Python
Python pygame绘制文字制作滚动文字过程解析
Dec 12 #Python
详解python 中in 的 用法
Dec 12 #Python
python调用c++返回带成员指针的类指针实例
Dec 12 #Python
在Python中实现函数重载的示例代码
Dec 12 #Python
You might like
php中把美国时间转为北京时间的自定义函数分享
2014/07/28 PHP
php实现带读写分离功能的MySQL类完整实例
2016/07/28 PHP
PHP的静态方法与普通方法用法实例分析
2019/09/26 PHP
laravel 如何实现引入自己的函数或类库
2019/10/15 PHP
使用jQuery.fn自定义jQuery翻页插件
2013/01/20 Javascript
利用JS判断用户是否上网(连接网络)
2013/12/23 Javascript
JS操作CSS随机改变网页背景实现思路
2014/03/10 Javascript
使用命令对象代替switch语句的写法示例
2015/02/28 Javascript
jQuery中next方法用法实例
2015/04/24 Javascript
纯JS代码实现气泡效果
2016/05/04 Javascript
微信小程序 数据绑定详解及实例
2016/10/25 Javascript
原生JS实现不断变化的标签
2017/05/22 Javascript
利用node.js+mongodb如何搭建一个简单登录注册的功能详解
2017/07/30 Javascript
node.js实现微信JS-API封装接口的示例代码
2017/09/06 Javascript
JS实现的简单四则运算计算器功能示例
2017/09/27 Javascript
JavaScript 五大常见函数
2018/03/23 Javascript
create-react-app 修改为多入口编译的方法
2018/08/01 Javascript
javascript将非数值转换为数值
2018/09/13 Javascript
微信小程序实现上传照片代码实例解析
2020/08/04 Javascript
vue实现购物车的小练习
2020/12/21 Vue.js
在Python中使用sort()方法进行排序的简单教程
2015/05/21 Python
Python基础之文件读取的讲解
2019/02/16 Python
详解用python写网络爬虫-爬取新浪微博评论
2019/05/10 Python
python循环定时中断执行某一段程序的实例
2019/06/29 Python
树莓派4B安装Tensorflow的方法步骤
2020/07/16 Python
python Selenium 库的使用技巧
2020/10/16 Python
美国著名的户外用品品牌:L.L.Bean
2018/01/05 全球购物
函授本科毕业生自我鉴定
2013/10/16 职场文书
质检员岗位职责
2013/12/17 职场文书
大学自我评价
2014/02/12 职场文书
给领导的检讨书
2014/02/16 职场文书
高中教师先进事迹材料
2014/08/22 职场文书
小学生自我评价100字(15篇)
2014/09/18 职场文书
2015年春节标语口号
2014/12/09 职场文书
2015年食品安全工作总结
2015/05/15 职场文书
详解overflow:hidden的作用(溢出隐藏、清除浮动、解决外边距塌陷)
2021/07/01 HTML / CSS