使用python读取csv文件快速插入数据库的实例


Posted in Python onJune 21, 2018

如下所示:

# -*- coding:utf-8 -*-
# auth:ckf
# date:20170703
import pandas as pd
import cStringIO
import warnings
from sqlalchemy import create_engine
import sys

reload(sys)
sys.setdefaultencoding('utf8')
warnings.filterwarnings('ignore')

engine = create_engine(
 'postgresql+psycopg2://'数据库连接)

filename = sys.argv[1]
tablename = sys.argv[2]
print '=== csvname is',filename ,'tablename is',tablename,'==='

print 'read', filename, '...'
df = pd.read_csv(filename, sep=';')
print 'read', filename, 'done!'

print 'lets insert ...'
output = cStringIO.StringIO()
# ignore the index
df.to_csv(output, sep='\t',index = False, header = False)
output.getvalue()
# jump to start of stream
output.seek(0)

connection = engine.raw_connection()
cursor = connection.cursor()
# null value become ''
cursor.copy_from(output,tablename,null='')
connection.commit()
cursor.close()
print 'done!'

这个脚本可以直接运行,将csv文件放在同级目录即可。

csv第一列需要有列名,如果csv里没有列名,需要在代码中添加列名。

代码运行示例:python insert.py csvname tablename

以上这篇使用python读取csv文件快速插入数据库的实例就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持三水点靠木。

Python 相关文章推荐
python从sqlite读取并显示数据的方法
May 08 Python
python cx_Oracle模块的安装和使用详细介绍
Feb 13 Python
python3+requests接口自动化session操作方法
Oct 13 Python
Python代码实现删除一个list里面重复元素的方法
Apr 02 Python
python自定义时钟类、定时任务类
Feb 22 Python
用django设置session过期时间的方法解析
Aug 05 Python
Python实现图片识别加翻译功能
Dec 26 Python
Python3打包exe代码2种方法实例解析
Feb 17 Python
python 实现简易的记事本
Nov 30 Python
python基于tkinter制作m3u8视频下载工具
Apr 24 Python
python脚本框架webpy的url映射详解
Nov 20 Python
Python GUI编程之tkinter 关于 ttkbootstrap 的使用详解
Mar 03 Python
详解python3中tkinter知识点
Jun 21 #Python
Python3用tkinter和PIL实现看图工具
Jun 21 #Python
Python3.4 tkinter,PIL图片转换
Jun 21 #Python
Python3实现转换Image图片格式
Jun 21 #Python
python3实现域名查询和whois查询功能
Jun 21 #Python
解决python写入mysql中datetime类型遇到的问题
Jun 21 #Python
详解Python下ftp上传文件linux服务器
Jun 21 #Python
You might like
新版mysql+apache+php Linux安装指南
2006/10/09 PHP
PHP is_dir() 判断给定文件名是否是一个目录
2010/05/10 PHP
PHP面向对象学习笔记之一 基础概念
2012/10/06 PHP
php实现上传图片生成缩略图示例
2014/04/13 PHP
php+ajax实现商品对比功能示例
2019/04/13 PHP
解决PHP curl或file_get_contents下载图片损坏或无法打开的问题
2019/10/11 PHP
jQuery中使用了document和window哪些属性和方法小结
2011/09/13 Javascript
读JavaScript DOM编程艺术笔记
2011/11/15 Javascript
jquery sortable的拖动方法示例详解
2014/01/16 Javascript
使用jsonp完美解决跨域问题
2014/11/27 Javascript
使用JS画图之点、线、面
2015/01/12 Javascript
jquery实现表单获取短信验证码代码
2017/03/13 Javascript
为你的微信小程序体积瘦身详解
2017/05/20 Javascript
LayUi使用switch开关,动态的去控制它是否被启用的方法
2019/09/21 Javascript
浅谈element中InfiniteScroll按需引入的一点注意事项
2020/06/05 Javascript
JavaScript实现网页动态生成表格
2020/11/25 Javascript
python client使用http post 到server端的代码
2013/02/10 Python
利用Python暴力破解zip文件口令的方法详解
2017/12/21 Python
Python实现的凯撒密码算法示例
2018/04/12 Python
[原创]Python入门教程5. 字典基本操作【定义、运算、常用函数】
2018/11/01 Python
python numpy 按行归一化的实例
2019/01/21 Python
Python Django框架防御CSRF攻击的方法分析
2019/10/18 Python
基于python的itchat库实现微信聊天机器人(推荐)
2019/10/29 Python
Python3并发写文件与Python对比
2019/11/20 Python
pytorch sampler对数据进行采样的实现
2019/12/31 Python
Python函数参数分类原理详解
2020/05/28 Python
Django实现简单的分页功能
2021/02/22 Python
《小蝌蚪找妈妈》教学反思
2014/02/21 职场文书
毕业晚会主持词
2014/03/24 职场文书
承诺书范本
2015/01/21 职场文书
2015年文员个人工作总结
2015/04/09 职场文书
毕业实习感受与体会
2015/05/26 职场文书
跟班学习心得体会(共6篇)
2016/01/23 职场文书
《黄山奇石》教学反思
2016/02/18 职场文书
OpenCV-Python实现人脸美白算法的实例
2021/06/11 Python
SpringBoot系列之MongoDB Aggregations用法详解
2022/02/12 MongoDB