Perl中著名的Schwartzian转换问题解决实现


Posted in Python onJune 02, 2015

Perl中著名的Schwartzian转换,其产生背景主要涉及到排序问题:
比如说,根据文件名以字母顺序排序,代码如下:

use strict;  

use warnings;  

   

my @files = glob "*.xml";          #perl中文件操作符glob提供相当于shell中的通配符的功能  

my @sorted_files = sort @files;    #sort(),排序,默认是字母顺序排序

比如说,根据文件名长度排序,其代码如下:
use strict;  

use warnings;  

  

#length求长度。 太空船操作符<=>,默认变量是$a,$b,返回值为-1,0,1分别表示大于,==,小于。 sort进行排序  

my $files = ".xml";  

my @sorted_length = sort { length($a) <=> length($b) } @files; 

上面的两种情况,对很多文件操作来说,速度还不算慢,如果是下面这种情况。
比如说:要批量比较文件大小,其代码如下:
use strict;  

use warnings;  

   

my @files     = glob "*.xml";     

my @sort_size = sort { -s $a <=> -s $b } @files;  #比较大小 

上面的代码设计到三重(次)操作:
1. 从硬盘上获取文件大小(-s $b)
2. 比较文件大小(太空船操作)
3. 对其进行排序(sort操作)
考虑到要比较$a,$b大小时,要从硬盘中获取两次,所以次数是6次!也就是说,如果有1万个文件,总共是6万次。
其算法复杂度是: n*long(n),考虑到后两项(比较文件大小,进行排序)必然要进行的操作,但第一项却可以降低!
即一次性从硬盘中读取所有文件大小,将其放置到Perl中的默认的变量,并存储到内存中!于是又下面算法实现:
use strict;  

use warnings;  

  

my @files = glob "*.xml";  

  

my @unsorted_pairs = map  { [$_, -s $_] } @files;  

my @sorted_pairs   = sort { $a->[1] <=> $b->[1] } @unsorted_pairs;  

my @sorted_files   = map  { $_->[0] } @sorted_pairs; 

看上去比较复杂,分三个步骤解释下:
第一步:遍历文件列表,对每个文件创建一个数组引用。数组引用包含两个元素:
       第一个是文件名($_),第二个是文件大小(-s $_)。这样,处理每个文件只访问一次磁盘。
第二步:对二维数组排序。因比较文件大小,所以需取元素[1],比较它们的值。得到另一个二维数组。
第三步:丢掉文件大小元素,创建一个只含文件名的列表。完成目标!
上面的代码使用了两个临时数组,但这并不是必须的。我们可以一个语句就能完成所有的工作。为了达到目的,需要按照“数据从右流向左”的原理反转句子顺序,不如果将每个句子放在单独一行,并且留出足够的空间,我们依然可以写出可读性高的代码。
my @quickly_sorted_files =  

    map  { $_->[0] }  

    sort { $a->[1] <=> $b->[1] }  

    map  { [$_, -s $_] }  

    @files; 

这就是以Randal L. Schwartz命名的Schwartzian转换,对数据量特多的情况下,其速度要比前者快数倍!
下面写了小程序,包括在生成1万个xml文件,在两种情况下,完整代码如下:
#!/usr/bin/perl -w  

use strict;  

use warnings;  

use autodie;  

use v5.10;  

  

######################################  

###  创建要比较的10,000个.xml文件 ###  

######################################  

my $profix = ".xml";  

  

foreach my $num (1..10000) {  

    open(my $fh, '>', $num . $profix) || die "Can not create the file: $!\n";  

    print $fh "This is file size testing!";  

}  

  

print "All the 10_1000 files created! \n";  

  

  

######################################  

### 常规转换:      遍历20次       ###  

######################################  

my $t1  = time();  

  

foreach (1..20){   

    my @files     = glob "*.xml";  

    my @sorted    = sort { -s $a <=> -s $b } @files;  

}  

  

say "常规算法需要时间: => ", time()- $t1;  

  

  

######################################  

### Schwartzian转换: 遍历20次     ###  

######################################  

my $t2  = time();  

  

foreach (1..20){   

    my @files = glob "*.xml";  

        my @sorted =   

            map  {$_->[0]}  

            sort {$a->[1] <=> $b->[1]}  

            map  {[$_, -s $_]}  

       @files;  

} 
say "Schwartzian算法需要时间: => ", time()- $t2; 

输出结果:
All the 10_1000 files created!
常规算法需要时间:          => 185
Schwartzian算法需要时间: => 115

Python 相关文章推荐
Python标准库之Sys模块使用详解
May 23 Python
Python批量修改文本文件内容的方法
Apr 29 Python
python shell根据ip获取主机名代码示例
Nov 25 Python
Python爬虫中urllib库的进阶学习
Jan 05 Python
python3实现SMTP发送邮件详细教程
Jun 19 Python
Python格式化日期时间操作示例
Jun 28 Python
在PyCharm下使用 ipython 交互式编程的方法
Jan 17 Python
python利用selenium进行浏览器爬虫
Apr 25 Python
python3用PIL把图片转换为RGB图片的实例
Jul 04 Python
python使用opencv实现马赛克效果示例
Sep 28 Python
Python序列化与反序列化pickle用法实例
Nov 11 Python
Python Opencv轮廓常用操作代码实例解析
Sep 01 Python
python通过ssh-powershell监控windows的方法
Jun 02 #Python
Python lxml模块安装教程
Jun 02 #Python
Python脚本文件打包成可执行文件的方法
Jun 02 #Python
python统计cpu利用率的方法
Jun 02 #Python
Python2.x中文乱码问题解决方法
Jun 02 #Python
python实现的守护进程(Daemon)用法实例
Jun 02 #Python
Python中使用ElementTree解析XML示例
Jun 02 #Python
You might like
php实现12306余票查询、价格查询示例
2014/04/17 PHP
EasyUi tabs的高度与宽度根据IE窗口的变化自适应代码
2010/10/26 Javascript
ie下动态加态js文件的方法
2011/09/13 Javascript
jquery选择器的选择使用及性能介绍
2013/01/16 Javascript
JS中eval函数的使用示例
2013/07/21 Javascript
javascript单引号和双引号的区别和处理
2014/05/14 Javascript
js获取url中&quot;?&quot;后面的字串方法
2014/05/15 Javascript
chrome下img加载对height()的影响示例探讨
2014/05/26 Javascript
node.js中的console.info方法使用说明
2014/12/09 Javascript
快速学习AngularJs HTTP响应拦截器
2015/12/31 Javascript
jQuery选择器实例应用
2017/01/05 Javascript
js实现彩色条纹滚动条效果
2017/03/15 Javascript
实现div滚动条默认最底部以及默认最右边的示例代码
2017/11/15 Javascript
Vue中的无限加载vue-infinite-loading的方法
2018/04/08 Javascript
vue使用canvas实现移动端手写签名
2020/09/22 Javascript
OpenLayers3实现地图显示功能
2020/09/25 Javascript
原生js实现表格循环滚动
2020/11/24 Javascript
Python脚本获取操作系统版本信息
2016/12/17 Python
win10下Python3.6安装、配置以及pip安装包教程
2017/10/01 Python
Python中XlsxWriter模块简介与用法分析
2018/04/24 Python
更换Django默认的模板引擎为jinja2的实现方法
2018/05/28 Python
python实现字符串完美拆分split()的方法
2019/07/16 Python
基于CSS3实现的漂亮Menu菜单效果代码
2015/09/10 HTML / CSS
HTML5印章绘制电子签章图片(中文英文椭圆章、中文英文椭圆印章)
2019/06/03 HTML / CSS
欧舒丹英国官网:购买欧舒丹护手霜等明星产品
2017/01/17 全球购物
德国汉莎航空中国官网: Lufthansa中国
2017/03/30 全球购物
美国半成品食材配送服务商:Home Chef
2018/01/25 全球购物
英国和国际包裹递送:ParcelCompare
2019/08/26 全球购物
Mountain Warehouse波兰官方网站:英国户外品牌
2019/08/29 全球购物
材料员岗位职责
2014/03/13 职场文书
2014年终个人工作总结
2014/11/07 职场文书
五年级学生评语大全
2014/12/26 职场文书
数学复习课教学反思
2016/02/18 职场文书
幼儿园大班教师评语
2019/06/21 职场文书
详解Redis实现限流的三种方式
2021/04/27 Redis
Python内置包对JSON文件数据进行编码和解码
2022/04/12 Python