python文件读写并使用mysql批量插入示例分享(python操作mysql)


Posted in Python onFebruary 17, 2014
# -*- coding: utf-8 -*-
'''
Created on 2013年12月9日
@author: hhdys
'''
import os
import mysql.connector
config = {
  'user': 'root',
  'password': '******',
  'host': '127.0.0.1',
  'database': 'test',
  'raise_on_warnings': True,
}
cnx = mysql.connector.connect(**config)
class ReadFile:
    def readLines(self):
        f = open("E:/data/2013-11-5.txt", "r", 1, "utf-8")
        i=0
        list=[]
        for line in f:
            strs = line.split("\t")
            if len(strs) != 5:
                continue
            data=(strs[0], strs[1], strs[2], strs[3], strs[4].replace("\n",""))
            list.append(data)
            cursor=cnx.cursor()
            sql = "insert into data_test(uid,log_date,fr,is_login,url)values(%s,%s,%s,%s,%s)"
            if i>5000:
                cursor.executemany(sql,list)
                cnx.commit()
                print("插入")
                i=0
                list.clear()
            i=i+1
        if i>0:
            cursor.executemany(sql,list)
            cnx.commit()
        cnx.close()
        f.close()
        print("ok")
    def listFiles(self):
        d = os.listdir("E:/data/")
        return d
            
if __name__ == "__main__":
    readFile = ReadFile()
    readFile.readLines()
Python 相关文章推荐
python学习教程之使用py2exe打包
Sep 24 Python
对Python的zip函数妙用,旋转矩阵详解
Dec 13 Python
python web自制框架之接受url传递过来的参数实例
Dec 17 Python
python中 * 的用法详解
Jul 10 Python
python+numpy实现的基本矩阵操作示例
Jul 19 Python
在自动化中用python实现键盘操作的方法详解
Jul 19 Python
Python2和3字符编码的区别知识点整理
Aug 08 Python
python实现输入任意一个大写字母生成金字塔的示例
Oct 27 Python
如何基于python生成list的所有的子集
Nov 11 Python
python中sklearn的pipeline模块实例详解
May 21 Python
MoviePy简介及Python视频剪辑自动化
Dec 18 Python
Pandas加速代码之避免使用for循环
May 30 Python
python实现bitmap数据结构详解
Feb 17 #Python
python实现ftp客户端示例分享
Feb 17 #Python
用smtplib和email封装python发送邮件模块类分享
Feb 17 #Python
python类参数self使用示例
Feb 17 #Python
python实现爬虫下载漫画示例
Feb 16 #Python
python发送邮件示例(支持中文邮件标题)
Feb 16 #Python
python定时器使用示例分享
Feb 16 #Python
You might like
在线增减.htpasswd内的用户
2006/10/09 PHP
PHP 采集程序中常用的函数
2009/12/09 PHP
PHP过滤★等特殊符号的正则
2014/01/27 PHP
PHP下获取上个月、下个月、本月的日期(strtotime,date)
2014/02/02 PHP
php操作MongoDB基础教程(连接、新增、修改、删除、查询)
2014/03/25 PHP
Yii调试SQL的常用方法
2014/07/09 PHP
求帮忙修改个php curl模拟post请求内容后并下载文件的解决思路
2015/09/20 PHP
PHP实现的构造sql语句类实例
2016/02/03 PHP
php使用gd2绘制基本图形示例(直线、圆、正方形)
2017/02/15 PHP
取得父标签
2006/11/14 Javascript
不使用ajax实现无刷新提交表单
2014/12/21 Javascript
js判断是否按下了Shift键的方法
2015/01/27 Javascript
Webwork 实现文件上传下载代码详解
2016/02/02 Javascript
javascript中JSON.parse()与eval()解析json的区别
2016/05/19 Javascript
真正好用的js验证上传文件大小的简单方法
2016/10/27 Javascript
URL中“#” “?” &“”号的作用浅析
2017/02/04 Javascript
走进AngularJs之过滤器(filter)详解
2017/02/17 Javascript
详解使用nvm安装node.js
2017/07/18 Javascript
jQuery扇形定时器插件pietimer使用方法详解
2017/07/18 jQuery
JavaScript变量提升和严格模式实例分析
2019/01/27 Javascript
js获取 gif 的帧数的代码实例
2019/09/10 Javascript
vue 在单页面应用里使用二级套嵌路由
2020/12/19 Vue.js
python赋值操作方法分享
2013/03/23 Python
Django 导出 Excel 代码的实例详解
2017/08/11 Python
python中os和sys模块的区别与常用方法总结
2017/11/14 Python
Python实现读取txt文件并画三维图简单代码示例
2017/12/09 Python
如何用python整理附件
2018/05/13 Python
简单了解python 邮件模块的使用方法
2019/07/24 Python
python中with用法讲解
2020/02/07 Python
Python非单向递归函数如何返回全部结果
2020/12/18 Python
HTML5新控件之日期和时间选择输入的实现代码
2018/09/13 HTML / CSS
纯HTML5+CSS3制作生日蛋糕(代码易懂)
2016/11/16 HTML / CSS
英国领先的维生素和营养补充剂直接供应商:Healthspan
2019/04/22 全球购物
strlen的几种不同实现方法
2013/05/31 面试题
法律进机关实施方案
2014/03/12 职场文书
宪法宣传标语100条
2019/10/15 职场文书