使用python的pandas库读取csv文件保存至mysql数据库


Posted in Python onAugust 20, 2018

第一:pandas.read_csv读取本地csv文件为数据框形式

data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')

第二:如果存在日期格式数据,利用pandas.to_datatime()改变类型

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意:=号,这样在原始的数据框中,改变了列的类型

第三:查看列类型

print(data.dtypes)

第四:方法一:保存至MYSQL【缺点耗时长】

利用MYSQLdb库,封装成一个类,实现创建表,添加数据的操作,缺点耗时长

class Jess_mysql():
 """
 设置mysql类,实现创建数据框,表,及添加数据
 """
 def __init__(self):
  self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
  self.conn=self.mysql.cursor()
 def create_table(self,table_names,col_names):
  """
  创建表
  :param table_names: 表名
  :param col_names: 列名,列表格式
  :return:
  """
  tables=' varchar(20),'.join(['%s'] *len(col_names))
  sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#字段需要标注格式
  ss=sql_yuju %(tuple(col_names))
  print(ss)
  self.conn.execute(ss)
  self.mysql.commit()
 def add_data(self,table_name,col_names,col_data):
  """
  :param table_name: 表名
  :param col_names: 列名,字段名
  :param col_data: 字段值
  :return:
  """
  colname=','.join(['%s']*len(col_names))
  data=','.join(['%s']*len(col_data))
  sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
  ss=sql_yuju%(*col_names,*col_data)
  #print(ss)
  self.conn.execute(ss)
  self.mysql.commit()

第五:利用sqlalchemy的create_engine()方法

1、创建连接

import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:123456@118.24.26.227:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
        (user=mysql_name,password=mysql_password,host=mysql_host,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相关参数的设置。

此外,保存到mysql中,需要注意日期格式的列,因为在mysql对应的field设置格式为varchar(20)后,原始的日期2015-8-9,写入数据库,只有2015,这需要两步操作。

a、上面第二目录的,利用pandas.to_datetime(,format='%Y-%m-%d')       #format的格式要和原始字符2016-8-9格式一样

b、利用datetime库,实现format='%Y%m%d'

x=data.shape[0]
for i in range(x):
 col_data=list(df.iloc[i,:])
 col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

•这一步后,日期格式由原始的2016-6-2,转为20160606,就可以以写入数据库对应的字段【其字段类型varchar(20)】

第六:读取mysql的数据

df=pd.read_sql('select * from %s'%table_name,con=engine,index_col=None)

默认不设置索引列,可以自行指定索引列名。

总结

以上所述是小编给大家介绍的使用python的pandas库读取csv文件保存至mysql数据库,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对三水点靠木网站的支持!

Python 相关文章推荐
Python实现将数据库一键导出为Excel表格的实例
Dec 30 Python
快速了解python leveldb
Jan 18 Python
对numpy中的数组条件筛选功能详解
Jul 02 Python
Python中使用pypdf2合并、分割、加密pdf文件的代码详解
May 21 Python
Python控制Firefox方法总结
Jun 03 Python
Python Web框架之Django框架cookie和session用法分析
Aug 16 Python
Python+OpenCv制作证件图片生成器的操作方法
Aug 21 Python
Django 批量插入数据的实现方法
Jan 12 Python
Python imutils 填充图片周边为黑色的实现
Jan 19 Python
Python2.x与3​​.x版本有哪些区别
Jul 09 Python
python利用蒙版抠图(使用PIL.Image和cv2)输出透明背景图
Aug 04 Python
python的netCDF4批量处理NC格式文件的操作方法
Mar 21 Python
Python多线程原理与用法详解
Aug 20 #Python
Python模拟简单电梯调度算法示例
Aug 20 #Python
django_orm查询性能优化方法
Aug 20 #Python
Python Requests库基本用法示例
Aug 20 #Python
Django中使用第三方登录的示例代码
Aug 20 #Python
基于Django框架利用Ajax实现点赞功能实例代码
Aug 19 #Python
分析python请求数据
Aug 19 #Python
You might like
ThinkPHP缓存方法S()概述
2014/06/13 PHP
ThinkPHP模板IF标签用法详解
2014/07/01 PHP
PHP+Memcache实现wordpress访问总数统计(非插件)
2014/07/04 PHP
php实现word转html的方法
2016/01/22 PHP
PHP编程获取图片的主色调的方法【基于Imagick扩展】
2017/08/02 PHP
thinkphp5实现微信扫码支付
2019/12/23 PHP
JavaScript 模式之工厂模式(Factory)应用介绍
2012/11/15 Javascript
JQuery与JS里submit()的区别示例介绍
2014/02/17 Javascript
js判断手机和pc端选择不同执行事件的方法
2015/01/30 Javascript
JavaScript实现模仿桌面窗口的方法
2015/07/18 Javascript
简单总结JavaScript中的String字符串类型
2016/05/26 Javascript
JavaScript代码实现图片循环滚动效果
2020/03/19 Javascript
jsp 网站引入外部css或者js失效问题解决
2016/10/31 Javascript
js 获取本地文件及目录的方法(推荐)
2016/11/10 Javascript
详解微信小程序开发之——wx.showToast(OBJECT)的使用
2017/01/18 Javascript
React简单介绍
2017/05/24 Javascript
详解angularjs中的隔离作用域理解以及绑定策略
2017/05/31 Javascript
jQuery实现的页面遮罩层功能示例【测试可用】
2017/10/14 jQuery
axios发送post请求,提交图片类型表单数据方法
2018/03/16 Javascript
为什么要使用Vuex的介绍
2019/01/19 Javascript
微信小程序实现消息框弹出动画
2020/04/18 Javascript
javascript实现下拉菜单效果
2021/02/09 Javascript
Python的Flask框架中实现简单的登录功能的教程
2015/04/20 Python
Python编程实现生成特定范围内不重复多个随机数的2种方法
2017/04/14 Python
Python使用matplotlib绘制三维图形示例
2018/08/25 Python
python中使用 xlwt 操作excel的常见方法与问题
2019/01/13 Python
在pycharm中使用git版本管理以及同步github的方法
2019/01/16 Python
python代理工具mitmproxy使用指南
2019/07/04 Python
Python操作SQLite数据库过程解析
2019/09/02 Python
python实现翻译word表格小程序
2020/02/27 Python
软件测试题目
2013/02/27 面试题
大学生学习党课思想汇报
2014/01/03 职场文书
2014年政府采购工作总结
2014/12/09 职场文书
市场总监岗位职责
2015/02/11 职场文书
小学班主任培训心得体会
2016/01/07 职场文书
python3 删除所有自定义变量的操作
2021/04/08 Python