Python使用SQLite和Excel操作进行数据分析


Posted in Python onJanuary 20, 2018

昨日,女票拿了一个Excel文档,里面有上万条数据要进行分析,刚开始一个字段分析,Excel用的不错,还能搞定,到后来两个字段的分析,还有区间比如年龄段的数据分析,实在是心疼的不行,于是就想给她程序处理之。

当然,我是一直C++和Qt的,当时就想直接Qt+sqlite3写入数据库,然后就各种数据查询就行了,可做起来却发现,她机器上没有Qt环境,没有C++编译器,得,如果配置环境也得几个小时了,可当时根本没有那么多时间来做,幸好,之前还看过一些Python的东西,并且Python环境好配啊,于是就想用Python实现一个写数据库,查询的功能。于是,行动之。

环境配置

1、下载Python:http://www.python.org/downloads/;
2、下载Excel读取库:http://pypi.python.org/pypi/xlrd;
3、Sqlite3数据库:这个是Python自带的,倒是不用下载了。

编写代码

代码写的很简单,一个类,在构造函数的时候初始化数据库对象,析构的时候释放数据库对象。一个插入数据函数,一个读取Excel函数,话不多说,上代码:

import sqlite3
import xlrd

class FileDispose(object):
  """docstring for FileDispose"""
  def __init__(self, file):
    super(FileDispose, self).__init__()
    '''初始化数据库实例'''
    self.conn = sqlite3.connect(file)
    self.cursor = self.conn.cursor()

  def __del__(self):
    '''释放数据库实例'''
    self.cursor.close()
    self.conn.close()

  '''数据库插入操作'''
  def insert(self,id,name,sex,age,score,addr):
    sql = 'insert into student(id,name,sex,age,score,addr) values (%d,\"%s\",\"%s\",\"%s\",\"%s\",\"%s\")' % (int(id),name,sex,age,score,addr)
    print(sql)
    self.cursor.execute(sql)
    self.conn.commit()

  '''读取Excel文件'''
  def readFile(self, file):
    data = xlrd.open_workbook(file)
    table = data.sheets()[2]
    for rowId in range(1, 100):
      row = table.row_values(rowId)
      if row:
        self.insert(rowId,row[0],row[1],row[2],row[3],row[4])


fd = FileDispose("F:/test.db")
fd.readFile('F:/excel.xlsx')

数据库表是我直接拿SQLiteSpy创建的,字段有id,name,sex,age,score,addr这几个。

总结

以上就是本文关于Python使用SQLite和Excel操作进行数据分析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!

Python 相关文章推荐
Python os模块中的isfile()和isdir()函数均返回false问题解决方法
Feb 04 Python
Python下的twisted框架入门指引
Apr 15 Python
Python3使用requests发闪存的方法
May 11 Python
浅谈Python中的可变对象和不可变对象
Jul 07 Python
Django处理文件上传File Uploads的实例
May 28 Python
Windows下Python3.6安装第三方模块的方法
Nov 22 Python
python 使用 requests 模块发送http请求 的方法
Dec 09 Python
Django框架实现的分页demo示例
May 25 Python
如何为Python终端提供持久性历史记录
Sep 03 Python
Python hmac模块使用实例解析
Dec 24 Python
Python类如何定义私有变量
Feb 03 Python
使用pygame编写Flappy bird小游戏
Mar 14 Python
python与sqlite3实现解密chrome cookie实例代码
Jan 20 #Python
Python实现PS滤镜中马赛克效果示例
Jan 20 #Python
浅析python协程相关概念
Jan 20 #Python
Python实现可自定义大小的截屏功能
Jan 20 #Python
python+matplotlib绘制饼图散点图实例代码
Jan 20 #Python
Python+matplotlib绘制不同大小和颜色散点图实例
Jan 19 #Python
Python搭建FTP服务器的方法示例
Jan 19 #Python
You might like
php中定义网站根目录的常用方法
2010/08/08 PHP
PHP数组的交集array_intersect(),array_intersect_assoc(),array_inter_key()函数的小问题
2011/05/29 PHP
PHP去掉json字符串中的反斜杠\及去掉双引号前的反斜杠
2015/09/30 PHP
PHP实现限制IP访问及提交次数的方法详解
2017/07/17 PHP
PHP中危险的file_put_contents函数详解
2017/11/04 PHP
prototype Element学习笔记(篇一)
2008/10/26 Javascript
js history对象简单实现返回和前进
2013/10/30 Javascript
jQuery实现的倒计时效果实例小结
2016/04/16 Javascript
Javascript动画效果(2)
2016/10/11 Javascript
Angular.js中下拉框实现渲染html的方法
2017/06/18 Javascript
详解Vue.js之视图和数据的双向绑定(v-model)
2017/06/23 Javascript
Kindeditor单独调用多图上传实例
2017/07/31 Javascript
vue中$refs的用法及作用详解
2018/04/24 Javascript
JS中移除非数字最多保留一位小数
2018/05/09 Javascript
React+Webpack快速上手指南(小结)
2018/08/15 Javascript
浅谈angularJs函数的使用方法(大小写转换,拷贝,扩充对象)
2018/10/08 Javascript
简单了解vue.js数组的常用操作
2019/06/17 Javascript
javascript实现的图片预览和上传功能示例【兼容IE 9】
2020/05/01 Javascript
Python中os和shutil模块实用方法集锦
2014/05/13 Python
django实现登录时候输入密码错误5次锁定用户十分钟
2017/11/05 Python
理论讲解python多进程并发编程
2018/02/09 Python
解决新django中的path不能使用正则表达式的问题
2018/12/18 Python
python爬虫添加请求头代码实例
2019/12/28 Python
pytorch常见的Tensor类型详解
2020/01/15 Python
如何使用Python处理HDF格式数据及可视化问题
2020/06/24 Python
详解python tcp编程
2020/08/24 Python
python 模拟登录B站的示例代码
2020/12/15 Python
html5中audio支持音频格式的解决方法
2018/08/24 HTML / CSS
html5中使用hotcss.js实现手机端自适配的方法
2020/04/23 HTML / CSS
The North Face北面荷兰官网:美国著名户外品牌
2019/10/16 全球购物
servlet面试题
2012/08/20 面试题
学校爱国卫生月活动总结
2014/06/25 职场文书
2015年教师学期工作总结
2015/04/30 职场文书
电视新闻稿
2015/07/17 职场文书
OpenCV-Python 实现两张图片自动拼接成全景图
2021/06/11 Python
如何避免mysql启动时错误及sock文件作用分析
2022/01/22 MySQL