使用python读取csv文件快速插入数据库的实例


Posted in Python onJune 21, 2018

如下所示:

# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys

reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')

engine = create_engine(
 'postgresql+psycopg2://'数据库连接)

filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='

print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'

print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)

connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'

这个脚本可以直接运行,将csv文件放在同级目录即可。

csv第一列需要有列名,如果csv里没有列名,需要在代码中添加列名。

代码运行示例:python insert.py csvname tablename

以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python通过正则查找微博@(at)用户的方法
Mar 13 Python
Python3实现简单可学习的手写体识别(实例讲解)
Oct 21 Python
理解python中生成器用法
Dec 20 Python
使用pandas模块读取csv文件和excel表格,并用matplotlib画图的方法
Jun 22 Python
Python数据可视化教程之Matplotlib实现各种图表实例
Jan 13 Python
Python从函数参数类型引出元组实例分析
May 28 Python
简单了解Python生成器是什么
Jul 02 Python
python PyQt5/Pyside2 按钮右击菜单实例代码
Aug 17 Python
使用Python刷淘宝喵币(低阶入门版)
Oct 30 Python
将python包发布到PyPI和制作whl文件方式
Dec 25 Python
tensorflow 利用expand_dims和squeeze扩展和压缩tensor维度方式
Feb 07 Python
Python实现ElGamal加密算法的示例代码
Jun 19 Python
详解python3中tkinter知识点
Jun 21 #Python
Python3用tkinter和PIL实现看图工具
Jun 21 #Python
Python3.4 tkinter,PIL图片转换
Jun 21 #Python
Python3实现转换Image图片格式
Jun 21 #Python
python3实现域名查询和whois查询功能
Jun 21 #Python
解决python写入mysql中datetime类型遇到的问题
Jun 21 #Python
详解Python下ftp上传文件linux服务器
Jun 21 #Python
You might like
php+dojo 的数据库保存拖动布局的一个方法dojo 这里下载
2007/03/07 PHP
php面象对象数据库操作类实例
2014/12/02 PHP
教你在PHPStorm中配置Xdebug
2015/07/27 PHP
cakephp常见知识点汇总
2017/02/24 PHP
用JS实现一个TreeMenu效果分享
2011/08/28 Javascript
js 浏览器事件介绍
2012/03/30 Javascript
JQuery实现简单时尚快捷的气泡提示插件
2012/12/20 Javascript
js 绑定键盘鼠标事件示例代码
2014/02/12 Javascript
jquery实现可自动收缩的TAB网页选项卡代码
2015/09/06 Javascript
JS组件系列之Bootstrap table表格组件神器【二、父子表和行列调序】
2016/05/10 Javascript
jQuery插件formValidator实现表单验证
2016/05/23 Javascript
支持移动端原生js轮播图
2017/02/16 Javascript
HTML中使背景图片自适应浏览器大小实例详解
2017/04/06 Javascript
ES6正则的扩展实例详解
2017/04/25 Javascript
js图片轮播插件的封装
2017/07/21 Javascript
js实现拖拽上传图片功能
2017/08/01 Javascript
原生js jquery ajax请求以及jsonp的调用方法
2017/08/04 jQuery
js中的 || 与 && 运算符详解
2018/05/24 Javascript
微信小程序开发常见问题及解决方案
2019/07/11 Javascript
微信小程序封装多张图片上传api代码实例
2019/12/30 Javascript
收集的几个Python小技巧分享
2014/11/22 Python
对python list 遍历删除的正确方法详解
2018/06/29 Python
python 剪切移动文件的实现代码
2018/08/02 Python
pytorch 可视化feature map的示例代码
2019/08/20 Python
Python绘制二维曲线的日常应用详解
2019/12/04 Python
Python Scrapy框架第一个入门程序示例
2020/02/05 Python
使用jquery实现HTML5响应式导航菜单教程
2014/04/02 HTML / CSS
戴尔英国官网:Dell英国
2017/05/27 全球购物
Skyscanner台湾:全球知名的旅行比价引擎
2018/07/01 全球购物
文员岗位职责范本
2014/03/08 职场文书
工业自动化专业自荐信范文
2014/04/10 职场文书
2015年医药代表工作总结
2015/04/25 职场文书
科技馆观后感
2015/06/08 职场文书
小学语文国培研修日志
2015/11/13 职场文书
护士心得体会范文
2016/01/25 职场文书
纯CSS实现酷炫的霓虹灯效果
2021/04/13 HTML / CSS