详细介绍Python进度条tqdm的使用


Posted in Python onJuly 31, 2019

前言

有时候在使用Python处理比较耗时操作的时候,为了便于观察处理进度,这时候就需要通过进度条将处理情况进行可视化展示,以便我们能够及时了解情况。这对于第三方库非常丰富的Python来说,想要实现这一功能并不是什么难事。

tqdm就能非常完美的支持和解决这些问题,可以实时输出处理进度而且占用的CPU资源非常少,支持windowsLinuxmac等系统,支持循环处理多进程递归处理、还可以结合linux的命令来查看处理情况,等进度展示。

大家先看看tqdm的进度条效果

详细介绍Python进度条tqdm的使用

安装

github地址:https://github.com/tqdm/tqdm

想要安装tqdm也是非常简单的,通过pip或conda就可以安装,而且不需要安装其他的依赖库

pip安装

pip install tqdm

conda安装

conda install -c conda-forge tqdm

迭代对象处理

对于可以迭代的对象都可以使用下面这种方式,来实现可视化进度,非常方便

from tqdm import tqdm
import time

for i in tqdm(range(100)):
  time.sleep(0.1)
  pass

详细介绍Python进度条tqdm的使用

在使用tqdm的时候,可以将tqdm(range(100))替换为trange(100)代码如下

from tqdm import tqdm,trange
import time

for i in trange(100):
  time.sleep(0.1)
  pass

观察处理的数据

通过tqdm提供的set_description方法可以实时查看每次处理的数据

from tqdm import tqdm
import time

pbar = tqdm(["a","b","c","d"])
for c in pbar:
  time.sleep(1)
  pbar.set_description("Processing %s"%c)

详细介绍Python进度条tqdm的使用

手动设置处理的进度

通过update方法可以控制每次进度条更新的进度

from tqdm import tqdm
import time

#total参数设置进度条的总长度
with tqdm(total=100) as pbar:
  for i in range(100):
    time.sleep(0.05)
    #每次更新进度条的长度
    pbar.update(1)

详细介绍Python进度条tqdm的使用

除了使用with之外,还可以使用另外一种方法实现上面的效果

from tqdm import tqdm
import time

#total参数设置进度条的总长度
pbar = tqdm(total=100)
for i in range(100):
  time.sleep(0.05)
  #每次更新进度条的长度
  pbar.update(1)
#关闭占用的资源
pbar.close()

linux命令展示进度条

不使用tqdm

$ time find . -name '*.py' -type f -exec cat \{} \; | wc -l
857365

real  0m3.458s
user  0m0.274s
sys   0m3.325s

使用tqdm

$ time find . -name '*.py' -type f -exec cat \{} \; | tqdm | wc -l
857366it [00:03, 246471.31it/s]
857365

real  0m3.585s
user  0m0.862s
sys   0m3.358s

指定tqdm的参数控制进度条

$ find . -name '*.py' -type f -exec cat \{} \; |
  tqdm --unit loc --unit_scale --total 857366 >> /dev/null
100%|???????????????????????????????????| 857K/857K [00:04<00:00, 246Kloc/s]
$ 7z a -bd -r backup.7z docs/ | grep Compressing |
  tqdm --total $(find docs/ -type f | wc -l) --unit files >> backup.log
100%|????????????????????????????????| 8014/8014 [01:37<00:00, 82.29files/s]

自定义进度条显示信息

通过set_descriptionset_postfix方法设置进度条显示信息

from tqdm import trange
from random import random,randint
import time

with trange(100) as t:
  for i in t:
    #设置进度条左边显示的信息
    t.set_description("GEN %i"%i)
    #设置进度条右边显示的信息
    t.set_postfix(loss=random(),gen=randint(1,999),str="h",lst=[1,2])
    time.sleep(0.1)

详细介绍Python进度条tqdm的使用

from tqdm import tqdm
import time

with tqdm(total=10,bar_format="{postfix[0]}{postfix[1][value]:>9.3g}",
     postfix=["Batch",dict(value=0)]) as t:
  for i in range(10):
    time.sleep(0.05)
    t.postfix[1]["value"] = i / 2
    t.update()

详细介绍Python进度条tqdm的使用

多层循环进度条

通过tqdm也可以很简单的实现嵌套循环进度条的展示

from tqdm import tqdm
import time

for i in tqdm(range(20), ascii=True,desc="1st loop"):
  for j in tqdm(range(10), ascii=True,desc="2nd loop"):
    time.sleep(0.01)

详细介绍Python进度条tqdm的使用

pycharm中执行以上代码的时候,会出现进度条位置错乱,目前官方并没有给出好的解决方案,这是由于pycharm不支持某些字符导致的,不过可以将上面的代码保存为脚本然后在命令行中执行,效果如下

详细介绍Python进度条tqdm的使用

多进程进度条

在使用多进程处理任务的时候,通过tqdm可以实时查看每一个进程任务的处理情况

from time import sleep
from tqdm import trange, tqdm
from multiprocessing import Pool, freeze_support, RLock

L = list(range(9))

def progresser(n):
  interval = 0.001 / (n + 2)
  total = 5000
  text = "#{}, est. {:<04.2}s".format(n, interval * total)
  for i in trange(total, desc=text, position=n,ascii=True):
    sleep(interval)

if __name__ == '__main__':
  freeze_support() # for Windows support
  p = Pool(len(L),
       # again, for Windows support
       initializer=tqdm.set_lock, initargs=(RLock(),))
  p.map(progresser, L)
  print("\n" * (len(L) - 2))

详细介绍Python进度条tqdm的使用

pandas中使用tqdm

import pandas as pd
import numpy as np
from tqdm import tqdm

df = pd.DataFrame(np.random.randint(0, 100, (100000, 6)))


tqdm.pandas(desc="my bar!")
df.progress_apply(lambda x: x**2)

详细介绍Python进度条tqdm的使用

递归使用进度条

from tqdm import tqdm
import os.path

def find_files_recursively(path, show_progress=True):
  files = []
  # total=1 assumes `path` is a file
  t = tqdm(total=1, unit="file", disable=not show_progress)
  if not os.path.exists(path):
    raise IOError("Cannot find:" + path)

  def append_found_file(f):
    files.append(f)
    t.update()

  def list_found_dir(path):
    """returns os.listdir(path) assuming os.path.isdir(path)"""
    try:
      listing = os.listdir(path)
    except:
      return []
    # subtract 1 since a "file" we found was actually this directory
    t.total += len(listing) - 1
    # fancy way to give info without forcing a refresh
    t.set_postfix(dir=path[-10:], refresh=False)
    t.update(0) # may trigger a refresh
    return listing

  def recursively_search(path):
    if os.path.isdir(path):
      for f in list_found_dir(path):
        recursively_search(os.path.join(path, f))
    else:
      append_found_file(path)

  recursively_search(path)
  t.set_postfix(dir=path)
  t.close()
  return files

find_files_recursively("E:/")

详细介绍Python进度条tqdm的使用

注意

在使用tqdm显示进度条的时候,如果代码中存在print可能会导致输出多行进度条,此时可以将print语句改为tqdm.write,代码如下

for i in tqdm(range(10),ascii=True):
  tqdm.write("come on")
  time.sleep(0.1)

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python 合并文件的具体实例
Aug 08 Python
使用python将mdb数据库文件导入postgresql数据库示例
Feb 17 Python
详解Python中的正则表达式的用法
Apr 09 Python
Python设计模式编程中Adapter适配器模式的使用实例
Mar 02 Python
使用python的pandas库读取csv文件保存至mysql数据库
Aug 20 Python
python用match()函数爬数据方法详解
Jul 23 Python
python pandas 时间日期的处理实现
Jul 30 Python
django与vue的完美结合_实现前后端的分离开发之后在整合的方法
Aug 12 Python
python自动保存百度盘资源到百度盘中的实例代码
Aug 26 Python
Jupyter Notebook 文件默认目录的查看以及更改步骤
Apr 14 Python
使用Pytorch训练two-head网络的操作
May 28 Python
Python合并多张图片成PDF
Jun 09 Python
处理Selenium3+python3定位鼠标悬停才显示的元素
Jul 31 #Python
基于Django的乐观锁与悲观锁解决订单并发问题详解
Jul 31 #Python
django解决订单并发问题【推荐】
Jul 31 #Python
python opencv将图片转为灰度图的方法示例
Jul 31 #Python
Django中使用极验Geetest滑动验证码过程解析
Jul 31 #Python
Python对接六大主流数据库(只需三步)
Jul 31 #Python
Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
Jul 31 #Python
You might like
星际争霸兵种名称对照表
2020/03/04 星际争霸
php magic_quotes_gpc的一点认识与分析
2008/08/18 PHP
Uchome1.2 1.5 代码学习 common.php
2009/04/24 PHP
php常用ODBC函数集(详细)
2013/06/24 PHP
ThinkPHP实现ajax仿官网搜索功能实例
2014/12/02 PHP
ThinkPHP中使用ajax接收json数据的方法
2014/12/18 PHP
fireworks菜单生成器mm_menu.js在 IE 7.0 显示问题的解决方法
2009/10/20 Javascript
解析js如何获取当前url中的参数值并复制给input
2013/06/23 Javascript
为开发者准备的10款最好的jQuery日历插件
2014/02/04 Javascript
DOM基础教程之模型中的模型节点
2015/01/19 Javascript
JavaScript中的函数声明和函数表达式区别浅析
2015/03/27 Javascript
jquery radio的取值_radio的选中_radio的重置方法
2016/09/20 Javascript
微信小程序 实现点击添加移除class
2017/06/12 Javascript
微信小程序上传图片实例
2018/05/28 Javascript
微信小程序有旋转动画效果的音乐组件实例代码
2018/08/22 Javascript
在Python中使用NLTK库实现对词干的提取的教程
2015/04/08 Python
python运行其他程序的实现方法
2017/07/14 Python
200 行python 代码实现 2048 游戏
2018/01/12 Python
详解如何在python中读写和存储matlab的数据文件(*.mat)
2018/02/24 Python
Python代码块批量添加Tab缩进的方法
2018/06/25 Python
Python小白必备的8个最常用的内置函数(推荐)
2019/04/03 Python
Python将列表数据写入文件(txt, csv,excel)
2019/04/03 Python
Python机器学习算法库scikit-learn学习之决策树实现方法详解
2019/07/04 Python
使用python 计算百分位数实现数据分箱代码
2020/03/03 Python
Python常用数字处理基本操作汇总
2020/09/10 Python
完美解决torch.cuda.is_available()一直返回False的玄学方法
2021/02/06 Python
Spartoo比利时:欧洲时尚购物网站
2017/12/06 全球购物
Tiqets英国:智能手机上的文化和娱乐门票
2019/07/10 全球购物
历史学专业推荐信
2013/11/06 职场文书
工商管理系学生的自我评价分享
2013/11/29 职场文书
化学教师教学反思
2014/01/17 职场文书
酒后驾驶检讨书
2014/01/27 职场文书
个人安全生产承诺书
2014/05/22 职场文书
联谊活动总结
2014/08/28 职场文书
单位实习工作证明怎么写
2014/11/02 职场文书
2015年公司行政后勤工作总结
2015/05/20 职场文书