使用pandas读取表格数据并进行单行数据拼接的详细教程


Posted in Python onMarch 03, 2021

业务需求

一个几十万条数据的Excel表格,现在需要拼接其中某一列的全部数据为一个字符串,例如下面简短的几行表格数据:

id code price num
11 22 33 44
22 33 44 55
33 44 55 66
44 55 66 77
55 66 77 88
66 77 88 99

 现在需要将code的这一列用逗号,拼接为字符串,并且每个单元格数据都用单引号包含,需要拼接成字符串'22','33','44','55','66','77',这样的情况,我们需要怎么处理呢?当然方式有很多……

多行文本批量处理

有的时候,我们会遇到需要同时处理多行文本的情况,很多文本编辑器都支持批量操作多行文本,这里我主要说一下Sublime Text,下面是操作的快捷键,有需要的可以尝试用一下,确实挺方便的。

  • 选中需要操作的多行,按下Ctr+Shift+L即可同时编辑这些行
  • 鼠标选中文本,反复按CTRL+D即可继续向下同时选中下一个相同的文本进行同时编辑
  • 鼠标选中文本,按下Alt+F3即可一次性选择全部的相同文本进行同时编辑

如何节省效率

在工作中,可能会存在一些表格数据处理的情况,比如运营给你一个表格,表格里有类似:订单号呀、产品ID啊、商品SKU等,需要你协助导出这些数据里的明细数据以便他们做分析用,一两次,我们可以快速用上面的方式处理,但是这种方式对于大文本的处理可能会存在卡顿的情况,操作效率较低,如果小文本的话,那么还是很方便的。
如果多次遇到这种情况,是否想要做成一个工具来快速处理呢,也就是,这种批量拼接同样格式的数据,我们可以写一个小工具来实现,即快速又省事,可以大大减少重复的工作消耗。

pandas读取表格数据并处理

这我们使用Python的pandas模块来读取表格指定某列的数据,再按照我们的拼接格式进行循环处理,最终把拼接的字符串写入文本文件中,方便保留和使用拼接的数据。

sheet = pandas.read_excel(io=file_name, usecols=[line_num])
data = sheet.values.tolist()
str_data = ''
# 循环处理数据
print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
for x in range(len(data)):
  if str(data[x][0]) != 'nan':
    str_data += "'" + str(data[x][0]) + "',"

完整源码

因为脚本需要多次使用,并且针对不同文件的不同列,所以,我们采用接受关键参数的形式,可以不改动任何代码,就可以直接使用此脚本来完整我们的数据拼接,同时,我们还可以使用pyinstaller模块来将脚本进行打包成exe的window可执行文件,使其在无Python的运行环境中也可以使用,打包命令为:pyinstaller -F -i favicon.ico join_excel_data.py,我已有打包的上传到交友网站Github上,大家有兴趣的话,可以点击查看哦,交个朋友地址:github.com/gxcuizy

#!/usr/bin/env python
# -*- coding: utf-8 -*-

"""
拼接Excel表格单行数据,并写入文本
author: gxcuizy
time: 2021-03-01
"""

import pandas
import random
import os
import time


def print_msg(msg=''):
  """打印信息"""
  now_time = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
  print('[' + now_time + '] ' + msg)


# 程序主入口
if __name__ == "__main__":
  # 获取传入参数
  file_name = input('请输入当前目录下的表格文件名(例如“01.xlsx”):')
  line_num = input('请输入要拼装的数据第几列(例如“1”):')
  # 判断文件是否存在
  if os.path.exists(file_name) == False:
    print_msg('文件不存在')
    os.system("pause")
    exit(0)
  # 判断输入的行数是否为数字
  if line_num.isdigit() == False:
    print_msg('请输入列数的数字')
    os.system("pause")
    exit(0)
  try:
    # 获取表格数据
    print_msg('开始获取文件[' + file_name + ']的第[' + str(line_num) + ']列数据')
    line_num = int(line_num) - 1
    sheet = pandas.read_excel(io=file_name, usecols=[line_num])
    data = sheet.values.tolist()
    str_data = ''
    # 循环处理数据
    print_msg('已获取列数据条数[' + str(len(data)) + '],开始处理数据……')
    for x in range(len(data)):
      if str(data[x][0]) != 'nan':
        str_data += "'" + str(data[x][0]) + "',"
    # 写入文本文件
    print_msg('数据处理完毕,开始写入……')
    random_num = random.randint(1000, 9999)
    with open('str_' + str(random_num) + '.txt', 'w') as f:
      f.write(str_data.strip(','))
    print_msg('数据写入完毕.')
  except Exception as err_info:
    # 异常信息
    print_msg(str(err_info))
  # 防止exe程序执行结束闪退
  os.system("pause")

到此这篇关于使用pandas读取表格数据并进行单行数据拼接的详细教程的文章就介绍到这了,更多相关pandas读取表格并拼接内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
python实现读取并显示图片的两种方法
Jan 13 Python
Python建立Map写Excel表实例解析
Jan 17 Python
python实现将文件夹下面的不是以py文件结尾的文件都过滤掉的方法
Oct 21 Python
selenium+python设置爬虫代理IP的方法
Nov 29 Python
python中dir()与__dict__属性的区别浅析
Dec 10 Python
Python3中编码与解码之Unicode与bytes的讲解
Feb 28 Python
学习Django知识点分享
Sep 11 Python
详解Python中的format格式化函数的使用方法
Nov 20 Python
Python字典底层实现原理详解
Dec 18 Python
python 实现图片上传接口开发 并生成可以访问的图片url
Dec 18 Python
java字符串格式化输出实例讲解
Jan 06 Python
用Python实现屏幕截图详解
Jan 22 Python
用gpu训练好的神经网络,用tensorflow-cpu跑出错的原因及解决方案
Mar 03 #Python
神经网络训练采用gpu设置的方式
Mar 03 #Python
解决TensorFlow训练模型及保存数量限制的问题
Mar 03 #Python
使paramiko库执行命令时在给定的时间强制退出功能的实现
Mar 03 #Python
python上下文管理的使用场景实例讲解
Mar 03 #Python
pip install命令安装扩展库整理
Mar 02 #Python
python实现杨辉三角的几种方法代码实例
Mar 02 #Python
You might like
PHP生成带有雪花背景的验证码
2008/09/28 PHP
作为程序员必知的16个最佳PHP库
2015/12/09 PHP
PHP实现财务审核通过后返现金额到客户的功能
2019/07/04 PHP
jquery ajax 检测用户注册时用户名是否存在
2009/11/03 Javascript
jQuery Selector选择器小结
2010/05/06 Javascript
jquery实现在页面加载完毕后获取图片高度或宽度
2014/06/16 Javascript
jqueryUI里拖拽排序示例分析
2015/02/26 Javascript
JavaScript中扩展Array contains方法实例
2020/08/23 Javascript
Bootstrap选项卡学习笔记分享
2017/02/13 Javascript
js实现点击切换checkbox背景图片的简单实例
2017/05/08 Javascript
详解Vue用自定义指令完成一个下拉菜单(select组件)
2017/10/31 Javascript
详解Chart.js轻量级图表库的使用经验
2018/05/22 Javascript
react.js组件实现拖拽复制和可排序的示例代码
2018/08/20 Javascript
layer.js之回调销毁对话框的例子
2019/09/11 Javascript
es6 super关键字的理解与应用实例分析
2020/02/15 Javascript
python通过getopt模块如何获取执行的命令参数详解
2017/12/29 Python
python实现简单登陆流程的方法
2018/04/22 Python
Python 查看list中是否含有某元素的方法
2018/06/27 Python
python创建文件备份的脚本
2018/09/11 Python
python判断所输入的任意一个正整数是否为素数的两种方法
2019/06/27 Python
Scrapy框架基本命令与settings.py设置
2020/02/06 Python
浅析matlab中imadjust函数
2020/02/27 Python
HTML5 Canvas实现文本对齐的方法总结
2016/03/24 HTML / CSS
关于赌博的检讨书
2014/01/08 职场文书
高中生期末评语
2014/01/28 职场文书
在校大学生个人的自我评价
2014/02/13 职场文书
幼儿园父亲节活动方案
2014/03/11 职场文书
劲霸男装广告词改编版
2014/03/21 职场文书
蓝颜请假条
2014/04/11 职场文书
初一新生军训方案
2014/05/22 职场文书
毕业生求职信范文
2014/06/29 职场文书
二手房购房协议书范本
2014/10/05 职场文书
电力工程合作意向书
2015/05/11 职场文书
舞出我人生观后感
2015/06/16 职场文书
2019年浪漫婚礼证婚词
2019/06/27 职场文书
实习员工转正的评语汇总,以备不时之需
2019/12/17 职场文书