python文本数据处理学习笔记详解


Posted in Python onJune 17, 2019

最近越发感觉到限制我对Python运用、以及读懂别人代码的地方,大多是在于对数据的处理能力。

其实编程本质上就是数据处理,怎么把文本数据、图像数据,通过python读入、切分等,变成一个N维矩阵,然后再带入别人的模型,bingo~跑出来一个结果。结果当然也是一个矩阵或向量的形式。

所以说,之所以对很多模型、代码束手无策,其实还是没有掌握好数据处理的“屠龙宝刀”,无法对海量数据进行“庖丁解牛”般的处理。因此,我想以一个别人代码中的一段为例,仔细琢磨文本数据处理的精妙之处,争取能够加深对这方面的运用与理解。

1) 问题描述

数据:某个区域181天内的访客数据,格式如下,第一列代表访客的名称,第二列代表这位访客在181天内到达这片区域的时刻:

python文本数据处理学习笔记详解

目的:将访客数据进行统计,并时间离散化,按照天 /周/小时处理为72624的三维矩阵。
也就是说,矩阵中的每一个值,代表该区域 周X、第几周、几点 的到访人数,如
[1,5,19]=100,代表第5周的周一晚上7点的人数为100。

2)难点

当然是对我的难点。

2.1)怎么按行统计

2.2)怎么进行时间离散化(存为天、周、时刻的矩阵)

3)代码

import time
import numpy as np
import sys
import datetime
import pandas as pd
import os
#用字典查询代替类型转换,可以减少一部分计算时间
date2position = {}
datestr2dateint = {}
str2int = {}
for i in range(182):
 date = datetime.date(day=1, month=10, year=2018)+datetime.timedelta(days=i)
 #print(i,":",date)
 date_int = int(date.__str__().replace("-", ""))
 date2position[date_int] = [i%7, i//7]
 datestr2dateint[str(date_int)] = date_int
#print(datestr2dateint)
#
for i in range(24):
 str2int[str(i).zfill(2)] = i
f=open("D:\BaiDuBigData19-URFC-master\\UrbanRegionFunctionClassification-master\data\\train_visit\\000000_008.txt")
#table = pd.read_csv(f, header=None,error_bad_lines=False)
table = pd.read_csv(f, header=None,sep='\t')

#print(table.shape)
#print(table.ix[1])
strings = table[1]
#print(strings)
init = np.zeros((7, 26, 24))
for string in strings:
 temp = []
 for item in string.split(','):
 temp.append([item[0:8], item[9:].split("|")])
 for date, visit_lst in temp:
 # x - 第几周
 # y - 第几天
 # z - 几点钟
 # value - 到访的总人数
 # print(visit_lst)
 print(date)
 x, y = date2position[datestr2dateint[date]]
 for visit in visit_lst: # 统计到访的总人数
  init[x][y][str2int[visit]] += 1
 #print(init[x][y][str2int[visit]])```

3.1)创建字典,时间离散化,节省时间

此处创建了三个字典,让我们看一下代码实现以及打印结果:

date2position = {}
datestr2dateint = {}
str2int = {}
for i in range(182):
 date = datetime.date(day=1, month=10, year=2018)+datetime.timedelta(days=i)
 #print(i,":",date)
 date_int = int(date.__str__().replace("-", ""))
 date2position[date_int] = [i%7, i//7]
 datestr2dateint[str(date_int)] = date_int
for i in range(24):
 str2int[str(i).zfill(2)] = i

打印一下 date2position:

python文本数据处理学习笔记详解

打印一下 datestr2dateint:

python文本数据处理学习笔记详解

打印str2int:

python文本数据处理学习笔记详解

可以看出,datestr2dateint是将str的日期,转换为了int的日期。
而date2position 才是计算出的每一个具体的日期,代表了第几周、第几天。
str2int代表了一天中的24个时刻。

3.2)读取文件,按行获取字符串

注意到文本的分隔符为\t(区分用户名与到访信息的分割),于是采用

f=open("D:\BaiDuBigData19-URFC-master\\UrbanRegionFunctionClassification-master\data\\train_visit\\000000_008.txt")
#table = pd.read_csv(f, header=None,error_bad_lines=False)
table = pd.read_csv(f, header=None,sep='\t')

然后用strings读取到访信息,也就是table的第二列:

strings = table[1]

3.3)切分字符串

首先,strings为:

python文本数据处理学习笔记详解

可以看到每一行string,为一个用户的到访记录,循环读取。其中,不同日期的到访是用“,”隔开,故要使用:

for string in strings:
 temp = []
 for item in string.split(','):

item就可以分开每一个日期的到访记录了:

python文本数据处理学习笔记详解

其后,使用temp列表,每一行存储日期和时刻。
如第一个item为 20181221&09|10|11|12|13|14|15
日期为 item[0:8],
时刻之间使用分隔符“|”隔开,故可以通过item[9:].split("|")得到。

temp.append([item[0:8], item[9:].split("|")])

打印一下temp为:

python文本数据处理学习笔记详解

所以需要用两个数据分别存储日期,以及时刻。
首先用来转换成 周、天、时刻的72624矩阵(根据前面的转换函数)
其后根据这个矩阵,统计每一个位置的访客数量

for date, visit_lst in temp:
 # x - 第几周
 # y - 第几天
 # z - 几点钟
 # value - 到访的总人数
 # print(visit_lst)
 #print(date)
 x, y = date2position[datestr2dateint[date]]
 for visit in visit_lst: # 统计到访的总人数
  init[x][y][str2int[visit]] += 1

这一段代码很短,但着实是整个时间离散化实现的精髓所在。

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持三水点靠木。

Python 相关文章推荐
Python  __getattr__与__setattr__使用方法
Sep 06 Python
Python多进程分块读取超大文件的方法
Apr 13 Python
python版微信跳一跳游戏辅助
Jan 11 Python
Python爬虫包BeautifulSoup异常处理(二)
Jun 17 Python
Python实现的简单读写csv文件操作示例
Jul 12 Python
PyQt5实现五子棋游戏(人机对弈)
Mar 24 Python
python使用MQTT给硬件传输图片的实现方法
May 05 Python
Python爬虫使用浏览器cookies:browsercookie过程解析
Oct 22 Python
Python 私有化操作实例分析
Nov 21 Python
Python面向对象封装操作案例详解
Dec 31 Python
关于python的缩进规则的知识点详解
Jun 22 Python
python ConfigParser库的使用及遇到的坑
Feb 12 Python
python3+PyQt5 实现Rich文本的行编辑方法
Jun 17 #Python
Appium+python自动化之连接模拟器并启动淘宝APP(超详解)
Jun 17 #Python
python3+PyQt5 数据库编程--增删改实例
Jun 17 #Python
python3+PyQt5 创建多线程网络应用-TCP客户端和TCP服务器实例
Jun 17 #Python
python 应用之Pycharm 新建模板默认添加编码格式-作者-时间等信息【推荐】
Jun 17 #Python
python3+PyQt5 使用三种不同的简便项窗口部件显示数据的方法
Jun 17 #Python
对PyQt5中树结构的实现方法详解
Jun 17 #Python
You might like
yii去掉必填项中星号的方法
2015/12/28 PHP
关于PHP 如何用 curl 读取 HTTP chunked 数据
2016/02/26 PHP
PHP的Yii框架中使用数据库的配置和SQL操作实例教程
2016/03/17 PHP
php的4种常用运行方式详解
2016/12/22 PHP
ext for eclipse插件安装方法
2008/04/27 Javascript
学习ExtJS Panel常用方法
2009/10/07 Javascript
Extjs4.0设置Ext.data.Store传参的请求方式(默认为GET)
2013/04/02 Javascript
jQuery 快速结束当前正在执行的动画
2013/11/20 Javascript
微信小程序 MINA文件结构
2016/10/17 Javascript
详解Vue.js和layui日期控件冲突问题解决办法
2019/07/25 Javascript
Angular value与ngValue区别详解
2019/11/27 Javascript
jQuery操作选中select下拉框的值代码实例
2020/02/07 jQuery
Python 文件操作实现代码
2009/10/07 Python
python socket网络编程步骤详解(socket套接字使用)
2013/12/06 Python
常用python数据类型转换函数总结
2014/03/11 Python
go语言计算两个时间的时间差方法
2015/03/13 Python
python基于urllib实现按照百度音乐分类下载mp3的方法
2015/05/25 Python
Python高级用法总结
2018/05/26 Python
树莓派+摄像头实现对移动物体的检测
2019/06/22 Python
python打印直角三角形与等腰三角形实例代码
2019/10/20 Python
python+opencv实现车牌定位功能(实例代码)
2019/12/24 Python
Python单元测试模块doctest的具体使用
2020/02/10 Python
详解python UDP 编程
2020/08/24 Python
html5 viewport使用方法示例详解
2013/12/02 HTML / CSS
详解html5 canvas 微信海报分享(个人爬坑)
2018/01/12 HTML / CSS
历史系毕业生自荐信
2013/10/28 职场文书
业务主管岗位职责范本
2013/12/25 职场文书
名人演讲稿范文
2013/12/28 职场文书
电脑租赁公司创业计划书
2014/01/08 职场文书
工程建设实施方案
2014/03/14 职场文书
连锁超市项目计划书
2014/09/15 职场文书
给医院的感谢信
2015/01/21 职场文书
皇城相府导游词
2015/02/06 职场文书
应用最多的公文《通知》如何写?
2019/04/02 职场文书
SQL实现LeetCode(197.上升温度)
2021/08/07 MySQL
vue3.0 数字翻牌组件的使用方法详解
2022/04/20 Vue.js