Perl中著名的Schwartzian转换问题解决实现


Posted in Python onJune 02, 2015

Perl中著名的Schwartzian转换,其产生背景主要涉及到排序问题:
比如说,根据文件名以字母顺序排序,代码如下:

use strict;  

use warnings;  

   

my @files = glob "*.xml";          #perl中文件操作符glob提供相当于shell中的通配符的功能  

my @sorted_files = sort @files;    #sort(),排序,默认是字母顺序排序

比如说,根据文件名长度排序,其代码如下:
use strict;  

use warnings;  

  

#length求长度。 太空船操作符<=>,默认变量是$a,$b,返回值为-1,0,1分别表示大于,==,小于。 sort进行排序  

my $files = ".xml";  

my @sorted_length = sort { length($a) <=> length($b) } @files; 

上面的两种情况,对很多文件操作来说,速度还不算慢,如果是下面这种情况。
比如说:要批量比较文件大小,其代码如下:
use strict;  

use warnings;  

   

my @files     = glob "*.xml";     

my @sort_size = sort { -s $a <=> -s $b } @files;  #比较大小 

上面的代码设计到三重(次)操作:
1. 从硬盘上获取文件大小(-s $b)
2. 比较文件大小(太空船操作)
3. 对其进行排序(sort操作)
考虑到要比较$a,$b大小时,要从硬盘中获取两次,所以次数是6次!也就是说,如果有1万个文件,总共是6万次。
其算法复杂度是: n*long(n),考虑到后两项(比较文件大小,进行排序)必然要进行的操作,但第一项却可以降低!
即一次性从硬盘中读取所有文件大小,将其放置到Perl中的默认的变量,并存储到内存中!于是又下面算法实现:
use strict;  

use warnings;  

  

my @files = glob "*.xml";  

  

my @unsorted_pairs = map  { [$_, -s $_] } @files;  

my @sorted_pairs   = sort { $a->[1] <=> $b->[1] } @unsorted_pairs;  

my @sorted_files   = map  { $_->[0] } @sorted_pairs; 

看上去比较复杂,分三个步骤解释下:
第一步:遍历文件列表,对每个文件创建一个数组引用。数组引用包含两个元素:
       第一个是文件名($_),第二个是文件大小(-s $_)。这样,处理每个文件只访问一次磁盘。
第二步:对二维数组排序。因比较文件大小,所以需取元素[1],比较它们的值。得到另一个二维数组。
第三步:丢掉文件大小元素,创建一个只含文件名的列表。完成目标!
上面的代码使用了两个临时数组,但这并不是必须的。我们可以一个语句就能完成所有的工作。为了达到目的,需要按照“数据从右流向左”的原理反转句子顺序,不如果将每个句子放在单独一行,并且留出足够的空间,我们依然可以写出可读性高的代码。
my @quickly_sorted_files =  

    map  { $_->[0] }  

    sort { $a->[1] <=> $b->[1] }  

    map  { [$_, -s $_] }  

    @files; 

这就是以Randal L. Schwartz命名的Schwartzian转换,对数据量特多的情况下,其速度要比前者快数倍!
下面写了小程序,包括在生成1万个xml文件,在两种情况下,完整代码如下:
#!/usr/bin/perl -w  

use strict;  

use warnings;  

use autodie;  

use v5.10;  

  

######################################  

###  创建要比较的10,000个.xml文件 ###  

######################################  

my $profix = ".xml";  

  

foreach my $num (1..10000) {  

    open(my $fh, '>', $num . $profix) || die "Can not create the file: $!\n";  

    print $fh "This is file size testing!";  

}  

  

print "All the 10_1000 files created! \n";  

  

  

######################################  

### 常规转换:      遍历20次       ###  

######################################  

my $t1  = time();  

  

foreach (1..20){   

    my @files     = glob "*.xml";  

    my @sorted    = sort { -s $a <=> -s $b } @files;  

}  

  

say "常规算法需要时间: => ", time()- $t1;  

  

  

######################################  

### Schwartzian转换: 遍历20次     ###  

######################################  

my $t2  = time();  

  

foreach (1..20){   

    my @files = glob "*.xml";  

        my @sorted =   

            map  {$_->[0]}  

            sort {$a->[1] <=> $b->[1]}  

            map  {[$_, -s $_]}  

       @files;  

} 
say "Schwartzian算法需要时间: => ", time()- $t2; 

输出结果:
All the 10_1000 files created!
常规算法需要时间:          => 185
Schwartzian算法需要时间: => 115

Python 相关文章推荐
Python查询Mysql时返回字典结构的代码
Jun 18 Python
Python中循环后使用list.append()数据被覆盖问题的解决
Jul 01 Python
tensorflow 加载部分变量的实例讲解
Jul 27 Python
pygame游戏之旅 添加游戏暂停功能
Nov 21 Python
python实现自动获取IP并发送到邮箱
Dec 26 Python
python实现全盘扫描搜索功能的方法
Feb 14 Python
python脚本当作Linux中的服务启动实现方法
Jun 28 Python
一篇文章搞定Python操作文件与目录
Aug 13 Python
Python tensorflow实现mnist手写数字识别示例【非卷积与卷积实现】
Dec 19 Python
Python reshape的用法及多个二维数组合并为三维数组的实例
Feb 07 Python
Python装饰器实现方法及应用场景详解
Mar 26 Python
Python操作MySQL数据库的示例代码
Jul 13 Python
python通过ssh-powershell监控windows的方法
Jun 02 #Python
Python lxml模块安装教程
Jun 02 #Python
Python脚本文件打包成可执行文件的方法
Jun 02 #Python
python统计cpu利用率的方法
Jun 02 #Python
Python2.x中文乱码问题解决方法
Jun 02 #Python
python实现的守护进程(Daemon)用法实例
Jun 02 #Python
Python中使用ElementTree解析XML示例
Jun 02 #Python
You might like
php实现mysql数据库备份类
2008/03/20 PHP
解析PHP工厂模式的好处
2013/06/18 PHP
php处理复杂xml数据示例
2016/07/11 PHP
javascript 对象的定义方法
2007/01/10 Javascript
javascript判断是手机还是电脑访问网页的简单实例分享
2014/06/03 Javascript
JavaScript 常见安全漏洞和自动化检测技术
2015/08/21 Javascript
jquery实现的淡入淡出下拉菜单效果
2015/08/25 Javascript
JQuery zClip插件实现复制页面内容到剪贴板
2015/11/02 Javascript
jquery实现右侧栏菜单选择操作
2016/03/04 Javascript
javascript使用闭包模拟对象的私有属性和方法
2016/10/05 Javascript
关于meta viewport中target-densitydpi属性详解(推荐)
2017/08/18 Javascript
vue-cli中打包图片路径错误的解决方法
2017/10/26 Javascript
vue-cli webpack 引入jquery的方法
2018/01/10 jQuery
vue中添加mp3音频文件的方法
2018/03/02 Javascript
详解webpack4多入口、多页面项目构建案例
2018/05/25 Javascript
vue 录制视频并压缩视频文件的方法
2018/07/27 Javascript
vue实现重置表单信息为空的方法
2018/09/29 Javascript
vue通过数据过滤实现表格合并
2020/11/30 Javascript
Node.JS枚举统计当前文件夹和子目录下所有代码文件行数
2019/08/23 Javascript
小程序识别身份证,银行卡,营业执照,驾照的实现
2019/11/05 Javascript
js验证账户名是否重复
2020/05/26 Javascript
在RedHat系Linux上部署Python的Celery框架的教程
2015/04/07 Python
简单介绍Python的轻便web框架Bottle
2015/04/08 Python
Python自定义主从分布式架构实例分析
2016/09/19 Python
简述:我为什么选择Python而不是Matlab和R语言
2017/11/14 Python
使用Python制作自动推送微信消息提醒的备忘录功能
2018/09/06 Python
Python面向对象程序设计之类的定义与继承简单示例
2019/03/18 Python
python opencv将图片转为灰度图的方法示例
2019/07/31 Python
Anaconda+vscode+pytorch环境搭建过程详解
2020/05/25 Python
基于python实现计算两组数据P值
2020/07/10 Python
美国现代家具购物网站:LexMod
2019/01/09 全球购物
Saks Fifth Avenue澳洲/亚太地区:萨克斯第五大道精品百货店
2019/06/09 全球购物
会计专业自我鉴定范文
2013/10/06 职场文书
运动会广播稿100字
2015/08/19 职场文书
OpenCV实现反阈值二值化
2021/11/17 Java/Android
Python matplotlib绘制雷达图
2022/04/13 Python