Perl中著名的Schwartzian转换问题解决实现


Posted in Python onJune 02, 2015

Perl中著名的Schwartzian转换,其产生背景主要涉及到排序问题:
比如说,根据文件名以字母顺序排序,代码如下:

use strict;  

use warnings;  

   

my @files = glob "*.xml";          #perl中文件操作符glob提供相当于shell中的通配符的功能  

my @sorted_files = sort @files;    #sort(),排序,默认是字母顺序排序

比如说,根据文件名长度排序,其代码如下:
use strict;  

use warnings;  

  

#length求长度。 太空船操作符<=>,默认变量是$a,$b,返回值为-1,0,1分别表示大于,==,小于。 sort进行排序  

my $files = ".xml";  

my @sorted_length = sort { length($a) <=> length($b) } @files; 

上面的两种情况,对很多文件操作来说,速度还不算慢,如果是下面这种情况。
比如说:要批量比较文件大小,其代码如下:
use strict;  

use warnings;  

   

my @files     = glob "*.xml";     

my @sort_size = sort { -s $a <=> -s $b } @files;  #比较大小 

上面的代码设计到三重(次)操作:
1. 从硬盘上获取文件大小(-s $b)
2. 比较文件大小(太空船操作)
3. 对其进行排序(sort操作)
考虑到要比较$a,$b大小时,要从硬盘中获取两次,所以次数是6次!也就是说,如果有1万个文件,总共是6万次。
其算法复杂度是: n*long(n),考虑到后两项(比较文件大小,进行排序)必然要进行的操作,但第一项却可以降低!
即一次性从硬盘中读取所有文件大小,将其放置到Perl中的默认的变量,并存储到内存中!于是又下面算法实现:
use strict;  

use warnings;  

  

my @files = glob "*.xml";  

  

my @unsorted_pairs = map  { [$_, -s $_] } @files;  

my @sorted_pairs   = sort { $a->[1] <=> $b->[1] } @unsorted_pairs;  

my @sorted_files   = map  { $_->[0] } @sorted_pairs; 

看上去比较复杂,分三个步骤解释下:
第一步:遍历文件列表,对每个文件创建一个数组引用。数组引用包含两个元素:
       第一个是文件名($_),第二个是文件大小(-s $_)。这样,处理每个文件只访问一次磁盘。
第二步:对二维数组排序。因比较文件大小,所以需取元素[1],比较它们的值。得到另一个二维数组。
第三步:丢掉文件大小元素,创建一个只含文件名的列表。完成目标!
上面的代码使用了两个临时数组,但这并不是必须的。我们可以一个语句就能完成所有的工作。为了达到目的,需要按照“数据从右流向左”的原理反转句子顺序,不如果将每个句子放在单独一行,并且留出足够的空间,我们依然可以写出可读性高的代码。
my @quickly_sorted_files =  

    map  { $_->[0] }  

    sort { $a->[1] <=> $b->[1] }  

    map  { [$_, -s $_] }  

    @files; 

这就是以Randal L. Schwartz命名的Schwartzian转换,对数据量特多的情况下,其速度要比前者快数倍!
下面写了小程序,包括在生成1万个xml文件,在两种情况下,完整代码如下:
#!/usr/bin/perl -w  

use strict;  

use warnings;  

use autodie;  

use v5.10;  

  

######################################  

###  创建要比较的10,000个.xml文件 ###  

######################################  

my $profix = ".xml";  

  

foreach my $num (1..10000) {  

    open(my $fh, '>', $num . $profix) || die "Can not create the file: $!\n";  

    print $fh "This is file size testing!";  

}  

  

print "All the 10_1000 files created! \n";  

  

  

######################################  

### 常规转换:      遍历20次       ###  

######################################  

my $t1  = time();  

  

foreach (1..20){   

    my @files     = glob "*.xml";  

    my @sorted    = sort { -s $a <=> -s $b } @files;  

}  

  

say "常规算法需要时间: => ", time()- $t1;  

  

  

######################################  

### Schwartzian转换: 遍历20次     ###  

######################################  

my $t2  = time();  

  

foreach (1..20){   

    my @files = glob "*.xml";  

        my @sorted =   

            map  {$_->[0]}  

            sort {$a->[1] <=> $b->[1]}  

            map  {[$_, -s $_]}  

       @files;  

} 
say "Schwartzian算法需要时间: => ", time()- $t2; 

输出结果:
All the 10_1000 files created!
常规算法需要时间:          => 185
Schwartzian算法需要时间: => 115

Python 相关文章推荐
Python中的yield浅析
Jun 16 Python
Python开发的实用计算器完整实例
May 10 Python
Python机器学习k-近邻算法(K Nearest Neighbor)实例详解
Jun 25 Python
Python切图九宫格的实现方法
Oct 10 Python
Ubuntu下Python+Flask分分钟搭建自己的服务器教程
Nov 19 Python
Django 项目布局方法(值得推荐)
Mar 22 Python
解决python DataFrame 打印结果不换行问题
Apr 09 Python
Python求解排列中的逆序数个数实例
May 03 Python
Django xadmin安装及使用详解
Oct 26 Python
python 获取剪切板内容的两种方法
Nov 28 Python
matplotlib制作雷达图报错ValueError的实现
Jan 05 Python
用Python仅20行代码编写一个简单的端口扫描器
Apr 08 Python
python通过ssh-powershell监控windows的方法
Jun 02 #Python
Python lxml模块安装教程
Jun 02 #Python
Python脚本文件打包成可执行文件的方法
Jun 02 #Python
python统计cpu利用率的方法
Jun 02 #Python
Python2.x中文乱码问题解决方法
Jun 02 #Python
python实现的守护进程(Daemon)用法实例
Jun 02 #Python
Python中使用ElementTree解析XML示例
Jun 02 #Python
You might like
php相对当前文件include其它文件的方法
2015/03/13 PHP
PHP加密解密类实例分析
2015/04/20 PHP
phalcon model在插入或更新时会自动验证非空字段的解决办法
2016/12/29 PHP
PHP依赖注入原理与用法分析
2018/08/21 PHP
JavaScript网页制作特殊效果用随机数
2007/05/22 Javascript
推荐10个超棒的jQuery工具提示插件
2011/10/11 Javascript
Linux下使用jq友好的打印JSON技巧分享
2014/11/18 Javascript
学习Bootstrap组件之下拉菜单
2015/07/28 Javascript
AngualrJS中每次$http请求时的一个遮罩层Directive
2016/01/26 Javascript
Vue.js每天必学之数据双向绑定
2016/09/05 Javascript
jquery获取点击控件的绝对位置简单实例
2016/10/13 Javascript
微信小程序 wx.uploadFile无法上传解决办法
2016/12/14 Javascript
Node.js和Express简单入门介绍
2017/03/24 Javascript
JS中使用gulp实现压缩文件及浏览器热加载功能
2017/07/12 Javascript
浅谈vue,angular,react数据双向绑定原理分析
2017/11/28 Javascript
详解关于element级联选择器数据回显问题
2019/02/20 Javascript
JS实现的贪吃蛇游戏案例详解
2019/05/01 Javascript
深入了解Hybrid App技术的相关知识
2019/07/17 Javascript
基于脚手架创建Vue项目实现步骤详解
2020/08/03 Javascript
Python os模块中的isfile()和isdir()函数均返回false问题解决方法
2015/02/04 Python
Python复数属性和方法运算操作示例
2017/07/21 Python
numpy.random.seed()的使用实例解析
2018/02/03 Python
python3模块smtplib实现发送邮件功能
2018/05/22 Python
python线程中的同步问题及解决方法
2019/08/29 Python
python生成器推导式用法简单示例
2019/10/08 Python
python实现微信打飞机游戏
2020/03/24 Python
python中如何设置代码自动提示
2020/07/15 Python
Vans英国官方网站:美国南加州的原创极限运动潮牌
2017/01/20 全球购物
FC-Moto美国:欧洲最大的摩托车服装和头盔商店之一
2019/08/24 全球购物
体育教师自我鉴定
2014/02/12 职场文书
社区志愿者活动方案
2014/08/18 职场文书
购房协议书范本
2014/10/02 职场文书
2015年公路养护工作总结
2015/05/13 职场文书
火烧圆明园的观后感
2015/06/03 职场文书
大学生活委员竞选稿
2015/11/21 职场文书
总结Python常用的魔法方法
2021/05/25 Python