利用python如何处理百万条数据(适用java新手)


Posted in Python onJune 06, 2018

1、前言

因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用python来处理,结果速度有了质的提升,大约处理时间为1个小时多一点,这个时间可以接受,后续可能继续采用大数据思想来处理,相关的会在后续继续更新。

2、安装python 

第一步首先下载python软件,在官网可以根据自己情况合理下载,大家也可以通过三水点靠木进行下载其余就是下一步搞定,然后在开始里面找到python的exe,点击开然后输入1+1就可以看出是否安装成功了.如下图

利用python如何处理百万条数据(适用java新手) 

3、IEDA编辑器如何使用python

首先我们在idea中打开设置然后点击plugins,在里面有个输入框中输入python,根据提示找到如下的这个(idea版本不同可能影响python版本)

利用python如何处理百万条数据(适用java新手) 

然后开始创建idea工程

file->New->Project->python然后出现如下图情况(其他的下一步然后就会创建工程了)

利用python如何处理百万条数据(适用java新手)

4、开发前知识准备

文件的读取,python读取文件非常的简单,我现在直接贴代码提供给大家

def readData(fileName):
 result = ""
 count=0
 with open(fileName, 'r') as f:
 for line in f.readlines():
  result += line
  count += 1
  print count
 return result

"""写入文件"""

def writeData(fileName, data):
 with open(fileName, 'a+')as f:
 f.write(data)

其中def是函数的定义,如果我们写定义一个函数直接前面加上def,返回值可以获取后直接用return即可

python我们直接采用with open('文件路径',模式) as f的方式来打开文件

模式:

r 只读 文件不存在则出错
r+ 支持读写 文件不存在则出错,写入时,会覆盖源文件
w 只写 如果文件不存在则创建文件,会覆盖源文件,如果写入内容少则保留为覆盖的内容
w+ 支持读写 同上
a 只写 如果文件不存在则创建文件,会采用追加模式
a+ 读写 同上
b 二进制读写  

跨文件引用:

同一个层级python是采用import直接导入文件名的方式,看下一个代码

import IoUtils

fileName1 = 'D:\\works\\pythons\\files\\userids.txt'
userIds = IoUtils.readData(fileName1).split('\n')
fileName2 = 'D:\\works\\pythons\\files\\records.txt'
records = IoUtils.readData(fileName2).strip()
recordsArr = records.split('\n')
count=0;
for data in recordsArr:
 count+=1
 if data.split('\t')[2] in userIds:
 IoUtils.writeData('D:\\works\\pythons\\files\\20180604.txt', data + '\n')
 print count

其他说明:

其中split和java程序的split一样,strip是去掉空格换行符等,循环(for in)模式,判断某个元素是否在数组中存在则直接使用 元素 in 数组

5、总结

如果你有数据量级别在百分的时候我建议优先可以想到python处理真的特别方便,而且很简单学习成本也很低,但是却很实用,其实awk在数据处理中也发挥很大的作用,大家可以私下学习,如果有时间我会分享一些,关于数据我这里就不提供了大家可以按照我上述代码跑就可以,更细节的我推荐看廖雪峰的python教程。

好了,以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对三水点靠木的支持。

Python 相关文章推荐
利用python获得时间的实例说明
Mar 25 Python
小结Python用fork来创建子进程注意事项
Jul 03 Python
python字典序问题实例
Sep 26 Python
使用pyecharts在jupyter notebook上绘图
Apr 23 Python
神经网络python源码分享
Dec 15 Python
python生成器,可迭代对象,迭代器区别和联系
Feb 04 Python
对DJango视图(views)和模版(templates)的使用详解
Jul 17 Python
详解Django-channels 实现WebSocket实例
Aug 22 Python
python实现井字棋小游戏
Mar 04 Python
Python 如何在字符串中插入变量
Aug 01 Python
使用python操作lmdb对数据读取的实例
Dec 11 Python
Python中文纠错的简单实现
Jul 07 Python
Python3实现的Mysql数据库操作封装类
Jun 06 #Python
python操作redis方法总结
Jun 06 #Python
目前最全的python的就业方向
Jun 05 #Python
python多进程提取处理大量文本的关键词方法
Jun 05 #Python
使用python进行文本预处理和提取特征的实例
Jun 05 #Python
python 用正则表达式筛选文本信息的实例
Jun 05 #Python
python和shell获取文本内容的方法
Jun 05 #Python
You might like
php不用正则验证真假身份证
2013/11/06 PHP
windows下PHP_intl.dll正确配置方法(apache2.2+php5.3.5)
2014/01/14 PHP
国产PHP开发框架myqee新手快速入门教程
2014/07/14 PHP
php使用cookie实现记住用户名和密码实现代码
2015/04/27 PHP
PHP简单实现合并2个数字键数组值的方法
2017/05/30 PHP
解决extjs在firefox中关闭窗口再打开后iframe中js函数访问不到的问题
2008/11/06 Javascript
js函数的引用, 关于内存的开销
2012/09/17 Javascript
js如何获取object类型里的键值
2014/02/18 Javascript
js实现的黑背景灰色二级导航菜单效果代码
2015/08/24 Javascript
ECHO.js 纯javascript轻量级延迟加载的实例代码
2016/05/24 Javascript
Jquery和JS获取ul中li标签的实现方法
2016/06/02 Javascript
js在ie下打开对话窗口的方法小结
2016/10/24 Javascript
JS实现页面中所有img对象添加onclick事件及新窗口查看图片的方法
2016/12/27 Javascript
jQuery编写网页版2048小游戏
2017/01/06 Javascript
JS实现的表头列头固定页面功能示例
2017/01/10 Javascript
jQuery实现火车票买票城市选择切换功能
2017/09/15 jQuery
原生JS实现动态添加新元素、删除元素方法
2019/05/05 Javascript
Vue+Element UI 树形控件整合下拉功能菜单(tree + dropdown +input)
2020/08/28 Javascript
python爬虫入门教程之糗百图片爬虫代码分享
2014/09/02 Python
Python编程判断一个正整数是否为素数的方法
2017/04/14 Python
python ddt实现数据驱动
2018/03/14 Python
Python何时应该使用Lambda函数
2019/07/02 Python
Django中使用极验Geetest滑动验证码过程解析
2019/07/31 Python
如何使用PyCharm将代码上传到GitHub上(图文详解)
2020/04/27 Python
Python如何将函数值赋给变量
2020/04/28 Python
pycharm 对代码做静态检查操作
2020/06/09 Python
python用tkinter实现一个简易能进行随机点名的界面
2020/09/27 Python
有趣、实用和鼓舞人心的产品:Inspire Uplift
2019/11/05 全球购物
几个数据库方面的面试题
2016/07/01 面试题
企业军训感言
2014/02/08 职场文书
教师业务培训方案
2014/05/01 职场文书
2014卖家双十一活动策划书
2014/09/29 职场文书
2015年教务工作总结
2015/05/23 职场文书
六年级情感作文之500字
2019/10/23 职场文书
浅谈redis缓存在项目中的使用
2021/05/20 Redis
Python可视化学习之seaborn绘制矩阵图详解
2022/02/24 Python