使用python将大量数据导出到Excel中的小技巧分享


Posted in Python onJune 14, 2018

(1) 问题描述:为了更好地展示数据,Excel格式的数据文件往往比文本文件更具有优势,但是具体到python中,该如何导出数据到Excel呢?如果碰到需要导出大量数据又该如何操作呢?

本文主要解决以上两个问题。

(2)具体步骤如下:

1.第一步,安装openpyxl,

使用pip install openpyxl即可,但是在windows下安装的是2.2.6版本,但是centos自动安装的是4.1版本,(多谢海哥的提醒)。

写的代码在windows下运行没问题,但centos上却报错了,说是ew=ExcelWriter(workbook=wb)少提供一个参数,于是果断在 237服务器上我已安装2.2.6版本的,问题解决。

pip install openpyxl==2.2.6

2.第二步,哈哈,没有啦,废话不说了,直接上代码,ps,代码中包含xlwt和openpyxl的两个实现版本。

(3)扩展阅读:通过查阅资料,发现网上众说纷纭,总结起来有如下几点:

python Excel相关的操作的module lib有两组,一组是xlrd、xlwt、xlutils,另一组是openpyxl,

但是前一组(xlrd,xlwt)比较老,只能处理由Excel 97-2003 或者Excel 97 以前版本生成的xls格式的excel文件,xlwt甚至不支持07版以后的excel ,这个格式excel文件一般来说,最大只能支持256列或者65536行的excel文件。

因此面对需要导出大量数据到excel的情况,你将有如下三种选择,

(1) 换一种存储格式,如保存为CSV文件

(2) 使用openpyxl—,因为它支持对Excel 2007+ xlsx/xlsm format的处理

(3) win32 COM (Windows only)

当然,我们要直面困难了,为了更好地展示数据给产品和用户,我们依然选择的第二种。

ps,非常lucky,一番搜索后我找到了openpyxl,支持07+的excel,一直有人在维护,文档清晰易读,参照Tutorial和API文档很快就能上手,就是它了~

(4) 闲话少说,直接上代码,敬请参考

# coding:utf-8
'''
# 希望对大家有帮助哈,请多提问题
create by yaoyz
date: 2017/01/24
'''
import xlrd
import xlwt
# workbook相关
from openpyxl.workbook import Workbook
# ExcelWriter,封装了很强大的excel写的功能
from openpyxl.writer.excel import ExcelWriter
# 一个eggache的数字转为列字母的方法
from openpyxl.utils import get_column_letter
from openpyxl.reader.excel import load_workbook
class HandleExcel():
 '''Excel相关操作类'''
 def __init__(self):
  self. head_row_labels = [u'学生ID',u'学生姓名',u'联系方式',u'知识点ID',u'知识点名称']
 """
  function:
   读出txt文件中的每一条记录,把它保存在list中
  Param:
   filename: 要读出的文件名
  Return:
   res_list: 返回的记录的list
 """
 def read_from_file(self,filename):
  res_list=[]
  file_obj=open(filename,"r")
  for line in file_obj.readlines():
   res_list.append(line)
  file_obj.close()
  return res_list
 """
  function:
   读出*.xlsx中的每一条记录,把它保存在data_dic中返回
  Param:
   excel_name: 要读出的文件名
  Return:
   data_dic: 返回的记录的dict
 """
 def read_excel_with_openpyxl(self, excel_name="testexcel2007.xlsx"):
  # 读取excel2007文件
  wb = load_workbook(filename=excel_name)
  # 显示有多少张表
  print "Worksheet range(s):" , wb.get_named_ranges()
  print "Worksheet name(s):" , wb.get_sheet_names()
  # 取第一张表
  sheetnames = wb.get_sheet_names()
  ws = wb.get_sheet_by_name(sheetnames[0])
  # 显示表名,表行数,表列数
  print "Work Sheet Titile:" ,ws.title
  print "Work Sheet Rows:" ,ws.get_highest_row()
  print "Work Sheet Cols:" ,ws.get_highest_column()
  # 获取读入的excel表格的有多少行,有多少列
  row_num=ws.get_highest_row()
  col_num=ws.get_highest_column()
  print "row_num: ",row_num," col_num: ",col_num
  # 建立存储数据的字典
  data_dic = {}
  sign=1
  # 把数据存到字典中
  for row in ws.rows:
   temp_list=[]
   # print "row",row
   for cell in row:
     print cell.value,
     temp_list.append(cell.value)
   print ""
   data_dic[sign]=temp_list
   sign+=1
  print data_dic
  return data_dic
 """
  function:
   读出*.xlsx中的每一条记录,把它保存在data_dic中返回
  Param:
   records: 要保存的,一个包含每一条记录的list
   save_excel_name: 保存为的文件名
   head_row_stu_arrive_star:
  Return:
   data_dic: 返回的记录的dict
 """
 def write_to_excel_with_openpyxl(self,records,head_row,save_excel_name="save.xlsx"):
  # 新建一个workbook
  wb = Workbook()
  # 新建一个excelWriter
  ew = ExcelWriter(workbook=wb)
  # 设置文件输出路径与名称
  dest_filename = save_excel_name.decode('utf-8')
  # 第一个sheet是ws
  ws = wb.worksheets[0]
  # 设置ws的名称
  ws.title = "range names"
  # 写第一行,标题行
  for h_x in range(1,len(head_row)+1):
   h_col=get_column_letter(h_x)
   #print h_col
   ws.cell('%s%s' % (h_col, 1)).value = '%s' % (head_row[h_x-1])
  # 写第二行及其以后的那些行
  i = 2
  for record in records:
   record_list=str(record).strip().split("\t")
   for x in range(1,len(record_list)+1):
    col = get_column_letter(x)
    ws.cell('%s%s' % (col, i)).value = '%s' % (record_list[x-1].decode('utf-8'))
   i += 1
  # 写文件
  ew.save(filename=dest_filename)
 """
  function:
   测试输出Excel内容
   读出Excel文件
  Param:
   excel_name: 要读出的Excel文件名
  Return:
   无
 """
 def read_excel(self,excel_name):
  workbook=xlrd.open_workbook(excel_name)
  print workbook.sheet_names()
  # 获取所有sheet
  print workbook.sheet_names() # [u'sheet1', u'sheet2']
  sheet2_name = workbook.sheet_names()[1]
  # 根据sheet索引或者名称获取sheet内容
  sheet2 = workbook.sheet_by_index(1) # sheet索引从0开始
  sheet2 = workbook.sheet_by_name('Sheet1')
  # sheet的名称,行数,列数
  print sheet2.name,sheet2.nrows,sheet2.ncols
  # 获取整行和整列的值(数组)
  rows = sheet2.row_values(3) # 获取第四行内容
  cols = sheet2.col_values(2) # 获取第三列内容
  print rows
  print cols
  # 获取单元格内容
  print sheet2.cell(1,0).value
  print sheet2.cell_value(1,0)
  print sheet2.row(1)[0].value
  # 获取单元格内容的数据类型
  print sheet2.cell(1,0).ctype
  # 通过名称获取
  return workbook.sheet_by_name(u'Sheet1')
 """
  function:
   设置单元格样式
  Param:
   name: 字体名字
   height: 字体高度
   bold: 是否大写
  Return:
   style: 返回设置好的格式对象
 """
 def set_style(self,name,height,bold=False):
  style = xlwt.XFStyle() # 初始化样式
  font = xlwt.Font() # 为样式创建字体
  font.name = name # 'Times New Roman'
  font.bold = bold
  font.color_index = 4
  font.height = height
  borders= xlwt.Borders()
  borders.left= 6
  borders.right= 6
  borders.top= 6
  borders.bottom= 6
  style.font = font
  style.borders = borders
  return style
 """
  function:
   按照 设置单元格样式 把计算结果由txt转变为Excel存储
  Param:
   dataset:要保存的结果数据,list存储
  Return:
   将结果保存为 excel对象中
 """
 def write_to_excel(self, dataset,save_excel_name,head_row):
  f = xlwt.Workbook() # 创建工作簿
  # 创建第一个sheet:
  # sheet1
  count=1
  sheet1 = f.add_sheet(u'sheet1', cell_overwrite_ok=True) # 创建sheet
  # 首行标题:
  for p in range(len(head_row)):
    sheet1.write(0,p,head_row[p],self.set_style('Times New Roman',250,True))
  default=self.set_style('Times New Roman',200,False) # define style out the loop will work
  for line in dataset:
   row_list=str(line).strip("\n").split("\t")
   for pp in range(len(str(line).strip("\n").split("\t"))):
    sheet1.write(count,pp,row_list[pp].decode('utf-8'),default)
   count+=1
  f.save(save_excel_name) # 保存文件
 def run_main_save_to_excel_with_openpyxl(self):
  print "测试读写2007及以后的excel文件xlsx,以方便写入文件更多数据"
  print "1. 把txt文件读入到内存中,以list对象存储"
  dataset_list=self.read_from_file("test_excel.txt")
  '''test use openpyxl to handle EXCEL 2007'''
  print "2. 把文件写入到Excel表格中"
  head_row_label=self.head_row_labels
  save_name="test_openpyxl.xlsx"
  self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
  print "3. 执行完毕,由txt格式文件保存为Excel文件的任务"
 def run_main_save_to_excel_with_xlwt(self):
  print " 4. 把txt文件读入到内存中,以list对象存储"
  dataset_list=self.read_from_file("test_excel.txt")
  '''test use xlwt to handle EXCEL 97-2003'''
  print " 5. 把文件写入到Excel表格中"
  head_row_label=self.head_row_labels
  save_name="test_xlwt.xls"
  self.write_to_excel_with_openpyxl(dataset_list,head_row_label,save_name)
  print "6. 执行完毕,由txt格式文件保存为Excel文件的任务"
if __name__ == '__main__':
 print "create handle Excel Object"
 obj_handle_excel=HandleExcel()
 # 分别使用openpyxl和xlwt将数据写入文件
 obj_handle_excel.run_main_save_to_excel_with_openpyxl()
 obj_handle_excel.run_main_save_to_excel_with_xlwt()
 '''测试读出文件,注意openpyxl不可以读取xls的文件,xlrd不可以读取xlsx格式的文件'''
 #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
 #obj_handle_excel.read_excel_with_openpyxl("testexcel2003.xls") # 错误写法
 obj_handle_excel.read_excel("testexcel2003.xls")
 obj_handle_excel.read_excel_with_openpyxl("testexcel2007.xlsx")

以上这篇使用python将大量数据导出到Excel中的小技巧分享就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
批量将ppt转换为pdf的Python代码 只要27行!
Feb 26 Python
基于Python log 的正确打开方式
Apr 28 Python
Django框架视图函数设计示例
Jul 29 Python
Python对接六大主流数据库(只需三步)
Jul 31 Python
django 自定义过滤器(filter)处理较为复杂的变量方法
Aug 12 Python
Python调用scp向服务器上传文件示例
Dec 22 Python
python使用openCV遍历文件夹里所有视频文件并保存成图片
Jan 14 Python
Python识别html主要文本框过程解析
Feb 18 Python
Python: tkinter窗口屏幕居中,设置窗口最大,最小尺寸实例
Mar 04 Python
jupyter 导入csv文件方式
Apr 21 Python
Python爬虫实现百度翻译功能过程详解
May 29 Python
Python基本知识点总结
Apr 07 Python
使用pandas将numpy中的数组数据保存到csv文件的方法
Jun 14 #Python
利用pandas将numpy数组导出生成excel的实例
Jun 14 #Python
详解Django 中是否使用时区的区别
Jun 14 #Python
python dataframe 输出结果整行显示的方法
Jun 14 #Python
Python3.6基于正则实现的计算器示例【无优化简单注释版】
Jun 14 #Python
Python3.6简单反射操作示例
Jun 14 #Python
Python3.6日志Logging模块简单用法示例
Jun 14 #Python
You might like
用js进行url编码后用php反解以及用php实现js的escape功能函数总结
2010/02/08 PHP
PHP中读取文件的8种方法和代码实例
2014/08/05 PHP
jQuery+PHP实现的掷色子抽奖游戏实例
2015/01/04 PHP
Thinkphp+smarty+uploadify实现无刷新上传
2015/07/30 PHP
JavaScript数组函数unshift、shift、pop、push使用实例
2014/08/27 Javascript
ECMAScript6中Set/WeakSet详解
2015/06/12 Javascript
JavaScript实现下拉列表框数据增加、删除、上下排序的方法
2015/08/11 Javascript
js 判断所选时间(或者当前时间)是否在某一时间段的实现代码
2015/09/05 Javascript
JS实现带有抽屉效果的产品类网站多级导航菜单代码
2015/09/15 Javascript
JavaScript兼容浏览器FF/IE技巧
2016/08/14 Javascript
js控制一个按钮是否可点击(可使用)disabled的实例
2017/02/14 Javascript
Node.js中的child_process模块详解
2018/06/08 Javascript
electron实现静默打印的示例代码
2019/08/12 Javascript
React传值 组件传值 之间的关系详解
2019/08/26 Javascript
vue源码中的检测方法的实现
2019/09/26 Javascript
js get和post请求实现代码解析
2020/02/06 Javascript
解决ant Design Search无法输入内容的问题
2020/10/29 Javascript
[40:13]Ti4 冒泡赛第二天 iG vs NEWBEE 2
2014/07/15 DOTA
[01:31:22]DOTA2-DPC中国联赛定级赛 LBZS vs Magma BO3第二场 1月10日
2021/03/11 DOTA
Python实现复杂对象转JSON的方法示例
2017/06/22 Python
Python比较配置文件的方法实例详解
2019/06/06 Python
pytorch 获取层权重,对特定层注入hook, 提取中间层输出的方法
2019/08/17 Python
基于TensorFlow的CNN实现Mnist手写数字识别
2020/06/17 Python
HTML5之tabindex属性全面解析
2016/07/07 HTML / CSS
Java如何获得ResultSet的总行数
2016/09/03 面试题
思想汇报范文
2013/11/04 职场文书
酒店人事专员岗位职责
2013/12/19 职场文书
失业者真诚求职信范文
2013/12/25 职场文书
幼儿园门卫制度
2014/01/29 职场文书
人民教师求职自荐信
2014/03/12 职场文书
四风对照检查材料范文
2014/09/27 职场文书
党委领导班子整改方案
2014/09/30 职场文书
办公室主任个人对照检查材料思想汇报
2014/10/11 职场文书
干部作风建设心得体会
2014/10/22 职场文书
部门优秀员工推荐信
2015/03/24 职场文书
Win10服务主机占用内存怎么办?Win10服务主机进程占用大量内存解决方法
2022/09/23 数码科技