python数据清洗系列之字符串处理详解


Posted in Python onFebruary 12, 2017

前言

数据清洗是一项复杂且繁琐(kubi)的工作,同时也是整个数据分析过程中最为重要的环节。有人说一个分析项目80%的时间都是在清洗数据,这听起来有些匪夷所思,但在实际的工作中确实如此。数据清洗的目的有两个,第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。换句话说就是有”脏”数据要洗,干净的数据也要洗。

在数据分析中,特别是文本分析中,字符处理需要耗费极大的精力,因而了解字符处理对于数据分析而言,也是一项很重要的能力。

字符串处理方法

首先我们先了解下都有哪些基础方法

python数据清洗系列之字符串处理详解

首先我们了解下字符串的拆分split方法

str='i like apple,i like bananer'
print(str.split(','))

对字符str用逗号进行拆分的结果:

['i like apple', 'i like bananer']

print(str.split(' '))

根据空格拆分的结果:

['i', 'like', 'apple,i', 'like', 'bananer']

print(str.index(','))
print(str.find(','))

两个查找结果都为:

12

找不到的情况下index返回错误,find返回-1

print(str.count('i'))

结果为:

4

connt用于统计目标字符串的频率

print(str.replace(',', ' ').split(' '))

结果为:

['i', 'like', 'apple', 'i', 'like', 'bananer']

这里replace把逗号替换为空格后,在用空格对字符串进行分割,刚好能把每个单词取出来。

除了常规的方法以外,更强大的字符处理工具费正则表达式莫属了。

正则表达式

在使用正则表达式前我们还要先了解下,正则表达式中的诸多方法。

python数据清洗系列之字符串处理详解

下面我来看下个方法的使用,首先了解下match和search方法的区别

str = "Cats are smarter than dogs"
pattern=re.compile(r'(.*) are (.*?) .*')
result=re.match(pattern,str)

for i in range(len(result.groups())+1):
 print(result.group(i))

结果为:

Cats are smarter than dogs
Cats
smarter

这种形式的pettern匹配规则下,match和search方法的的返回结果是一样的

此时如果把pattern改为

pattern=re.compile(r'are (.*?) .*')

match则返回none,search返回结果为:

are smarter than dogs
smarter

接下来我们了解下其他方法的使用

str = "138-9592-5592 # number"
pattern=re.compile(r'#.*$')
number=re.sub(pattern,'',str)
print(number)

结果为:

138-9592-5592

以上是通过把#号后面的内容替换为空实现提取号码的目的。

我们还可以进一步对号码的横杆进行替换

print(re.sub(r'-*','',number))

结果为:

13895925592

我们还可以用find的方法把找到的字符串打印出来

str = "138-9592-5592 # number"
pattern=re.compile(r'5')
print(pattern.findall(str))

结果为:

['5', '5', '5']

正则表达式的整体内容比较多,需要我们对匹配的字符串的规则有足够的了解,下面是具体的匹配规则。

python数据清洗系列之字符串处理详解

矢量化字符串函数

清理待分析的散乱数据时,常常需要做一些字符串规整化工作。

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
 'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data)

结果为:

python数据清洗系列之字符串处理详解

可以通过规整合的一些方法对数据做初步的判断,比如用contains 判断每个数据中是否含有关键词

print(data.str.contains('@'))

结果为:

python数据清洗系列之字符串处理详解

也可以对字符串进行分拆,把需要的字符串提取出来

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
     'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
pattern=re.compile(r'(\d*)@([a-z]+)\.([a-z]{2,4})')
result=data.str.match(pattern) #这里用fillall的方法也可以result=data.str.findall(pattern)
print(result)

结果为:

chen [(8622, xinlang, com)]
li [(120, qq, com)]
sun [(5243, gmail, com)]
wang [(5632, qq, com)]
zhao NaN
dtype: object

此时加入我们需要提取邮箱前面的名称

print(result.str.get(0))

结果为:

python数据清洗系列之字符串处理详解

或者需要邮箱所属的域名

print(result.str.get(1))

结果为:

python数据清洗系列之字符串处理详解

当然也可以用切片的方式进行提取,不过提取的数据准确性不高

data = pd.Series({'li': '120@qq.com','wang':'5632@qq.com',
    'chen': '8622@xinlang.com','zhao':np.nan,'sun':'5243@gmail.com'})
print(data.str[:6])

结果为:

python数据清洗系列之字符串处理详解

最后我们了解下矢量化的字符串方法

python数据清洗系列之字符串处理详解

总结

以上就是python数据清洗之字符串处理的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。

Python 相关文章推荐
Python struct模块解析
Jun 12 Python
Python中使用Flask、MongoDB搭建简易图片服务器
Feb 04 Python
python基于BeautifulSoup实现抓取网页指定内容的方法
Jul 09 Python
node.js获取参数的常用方法(总结)
May 29 Python
Python+tkinter使用40行代码实现计算器功能
Jan 30 Python
Python实现定时执行任务的三种方式简单示例
Mar 30 Python
Python jieba库用法及实例解析
Nov 04 Python
Python collections.defaultdict模块用法详解
Jun 18 Python
python中doctest库实例用法
Dec 31 Python
Python入门之基础语法详解
May 11 Python
python 实现体质指数BMI计算
May 26 Python
简单且有用的Python数据分析和机器学习代码
Jul 02 Python
python中numpy基础学习及进行数组和矢量计算
Feb 12 #Python
python 数据清洗之数据合并、转换、过滤、排序
Feb 12 #Python
python3制作捧腹网段子页爬虫
Feb 12 #Python
python日志记录模块实例及改进
Feb 12 #Python
Windows下Python2与Python3两个版本共存的方法详解
Feb 12 #Python
使用Python绘制图表大全总结
Feb 11 #Python
Python 绘图和可视化详细介绍
Feb 11 #Python
You might like
php中对xml读取的相关函数的介绍一
2008/06/05 PHP
php mssql 数据库分页SQL语句
2008/12/16 PHP
php把session写入数据库示例
2014/02/26 PHP
ThinkPHP使用Smarty第三方插件方法小结
2016/03/19 PHP
Yii框架数据模型的验证规则rules()被执行的方法
2016/12/02 PHP
PHP实现简单ajax Loading加载功能示例
2016/12/28 PHP
PHP __call()方法实现委托示例
2019/05/20 PHP
TP5框架简单登录功能实现方法示例
2019/10/31 PHP
JavaScript 实现类的多种方法实例
2013/05/01 Javascript
异步动态加载JS并运行(示例代码)
2013/12/13 Javascript
Express作者TJ告别Node.js奔向Go
2014/07/14 Javascript
原生javascript实现隔行换色
2015/01/04 Javascript
javascript相关事件的几个概念
2015/05/21 Javascript
详解Javascript中prototype属性(推荐)
2016/09/03 Javascript
Javascript中的async awai的用法
2017/05/17 Javascript
微信小程序图片轮播组件gallery slider使用方法详解
2018/01/31 Javascript
webpack手动配置React开发环境的步骤
2018/07/02 Javascript
Vue项目服务器部署之子目录部署方法
2019/05/12 Javascript
如何在JavaScript中谨慎使用代码注释
2019/06/21 Javascript
vuex存储复杂参数(如对象数组等)刷新数据丢失的解决方法
2019/11/05 Javascript
[01:08:09]DOTA2上海特级锦标赛主赛事日 - 1 胜者组第一轮#1Liquid VS Alliance第二局
2016/03/02 DOTA
Python 自动安装 Rising 杀毒软件
2009/04/24 Python
wxPython窗口中文乱码解决方法
2014/10/11 Python
详解Python list 与 NumPy.ndarry 切片之间的对比
2017/07/24 Python
python传到前端的数据,双引号被转义的问题
2020/04/03 Python
软件生产职位结构化面试主要考察要素及面试题库
2015/06/12 面试题
高校辅导员推荐信范文
2013/12/25 职场文书
干部行政关系介绍信
2014/01/17 职场文书
创先争优活动方案
2014/02/12 职场文书
节能减排倡议书
2014/04/15 职场文书
2014年护士工作总结范文
2014/11/11 职场文书
2014年个人师德工作总结
2014/12/04 职场文书
财务人员个人工作总结
2015/02/27 职场文书
2016年校园植树节广播稿
2015/12/17 职场文书
Python中文纠错的简单实现
2021/07/07 Python
二维码条形码生成的JavaScript脚本库
2022/07/07 Javascript