使用pandas读取表格数据并进行单行数据拼接的详细教程


Posted in Python onMarch 03, 2021

业务需求

一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:

id code price num
11 22 33 44
22 33 44 55
33 44 55 66
44 55 66 77
55 66 77 88
66 77 88 99

 现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……

多行文本批量处理

有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。

  • 选中需要操作的多行,按下Ctr+Shift+L即可同时编辑这些行
  • 鼠标选中文本,反复按CTRL+D即可继续向下同时选中下一个相同的文本进行同时编辑
  • 鼠标选中文本,按下Alt+F3即可一次性选择全部的相同文本进行同时编辑

如何节省效率

在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。

pandas读取表格数据并处理

这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循环处理数据
print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
for x in range(len(data)):
  if str(data[x][0]) != 'nan':
    str_data += "'" + str(data[x][0]) + "',"

完整源码

因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格单行数据,并写入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
  """打印信息"""
  now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
  print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
  # 获取传入参数
  file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):')
  line_num = input('请输入要拼装的数据第几列(例如“1”):')
  # 判断文件是否存在
  if os.path.exists(file_name) == False:
    print_msg('文件不存在')
    os.system("pause")
    exit(0)
  # 判断输入的行数是否为数字
  if line_num.isdigit() == False:
    print_msg('请输入列数的数字')
    os.system("pause")
    exit(0)
  try:
    # 获取表格数据
    print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
    line_num = int(line_num) - 1
    sheet = pandas.read_excel(io=file_name, usecols=[line_num])
    data = sheet.values.tolist()
    str_data = ''
    # 循环处理数据
    print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
    for x in range(len(data)):
      if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"
    # 写入文本文件
    print_msg('数据处理完毕,开始写入……')
    random_num = random.randint(1000, 9999)
    with open('str_' + str(random_num) + '.txt', 'w') as f:
      f.write(str_data.strip(','))
    print_msg('数据写入完毕.')
  except Exception as err_info:
    # 异常信息
    print_msg(str(err_info))
  # 防止exe程序执行结束闪退
  os.system("pause")

到此这篇关于使用pandas读取表格数据并进行单行数据拼接的详细教程的文章就介绍到这了,更多相关pandas读取表格并拼接内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python调用短信猫控件实现发短信功能实例
Jul 04 Python
用Python展示动态规则法用以解决重叠子问题的示例
Apr 02 Python
python验证码识别教程之滑动验证码
Jun 04 Python
Python基于OpenCV实现人脸检测并保存
Jul 23 Python
Python3离线安装Requests模块问题
Oct 13 Python
利用OpenCV和Python实现查找图片差异
Dec 19 Python
Pytorch中.new()的作用详解
Feb 18 Python
Python datetime 格式化 明天,昨天实例
Mar 02 Python
解决json中ensure_ascii=False的问题
Apr 03 Python
Python常驻任务实现接收外界参数代码解析
Jul 21 Python
Django vue前后端分离整合过程解析
Nov 20 Python
Python爬虫入门案例之爬取二手房源数据
Oct 16 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
Mar 03 #Python
神经网络训练采用gpu设置的方式
Mar 03 #Python
解决TensorFlow训练模型及保存数量限制的问题
Mar 03 #Python
使paramiko库执行命令时在给定的时间强制退出功能的实现
Mar 03 #Python
python上下文管理的使用场景实例讲解
Mar 03 #Python
pip install命令安装扩展库整理
Mar 02 #Python
python实现杨辉三角的几种方法代码实例
Mar 02 #Python
You might like
PHP中MVC模式的模板引擎开发经验分享
2011/03/23 PHP
PHP Cookie的使用教程详解
2013/06/03 PHP
ThinkPHP分页类使用详解
2014/03/05 PHP
php使用COPY函数更新配置文件的方法
2015/06/18 PHP
基于命令行执行带参数的php脚本并取得参数的方法
2016/01/25 PHP
Yii2实现上下联动下拉框功能的方法
2016/08/10 PHP
个人总结的一些关于String、Function、Array的属性和用法
2007/01/10 Javascript
JavaScript中SQL语句的应用实现
2010/05/04 Javascript
自动设置iframe大小的jQuery代码
2013/09/11 Javascript
js自动生成对象的属性示例代码
2013/10/28 Javascript
javascript运算符语法全面概述
2016/07/14 Javascript
深入理解jquery中extend的实现
2016/12/22 Javascript
理解javascript中的Function.prototype.bind的方法
2017/02/03 Javascript
AngularJS实现的JSONP跨域访问数据传输功能详解
2017/07/20 Javascript
修改vue+webpack run build的路径方法
2018/09/01 Javascript
如何在Node和浏览器控制台中打印彩色文字
2020/01/09 Javascript
[49:41]NB vs NAVI Supermajor小组赛A组 BO3 第一场 6.2
2018/06/03 DOTA
Python实现备份文件实例
2014/09/16 Python
深入解析Python中的上下文管理器
2016/06/28 Python
python sorted方法和列表使用解析
2019/11/18 Python
解决python DataFrame 打印结果不换行问题
2020/04/09 Python
Python爬虫实现百度翻译功能过程详解
2020/05/29 Python
Python关于拓扑排序知识点讲解
2021/01/04 Python
Everlast官网:拳击、综合格斗和健身相关的体育用品
2020/08/03 全球购物
德国高尔夫商店:Par71.de
2020/11/29 全球购物
说出ArrayList,Vector, LinkedList的存储性能和特性
2015/01/04 面试题
《问银河》教学反思
2014/02/19 职场文书
作风建设年活动实施方案
2014/10/24 职场文书
2014年工人工作总结
2014/11/25 职场文书
2014年青年志愿者工作总结
2014/12/09 职场文书
工作能力自我评价2015
2015/03/05 职场文书
酒店工程部主管岗位职责
2015/04/16 职场文书
老干部局2015年度工作总结
2015/10/22 职场文书
80行代码写一个Webpack插件并发布到npm
2021/05/24 Javascript
css3带你实现3D转换效果
2022/02/24 HTML / CSS
python机器学习实现oneR算法(以鸢尾data为例)
2022/03/03 Python