python文件读写并使用mysql批量插入示例分享(python操作mysql)


Posted in Python onFebruary 17, 2014
# -*- coding: utf-8 -*-
'''
Created on 2013年12月9日
@author: hhdys
'''
import os
import mysql.connector
config = {
  'user': 'root',
  'password': '******',
  'host': '127.0.0.1',
  'database': 'test',
  'raise_on_warnings': True,
}
cnx = mysql.connector.connect(**config)
class ReadFile:
    def readLines(self):
        f = open("E:/data/2013-11-5.txt", "r", 1, "utf-8")
        i=0
        list=[]
        for line in f:
            strs = line.split("\t")
            if len(strs) != 5:
                continue
            data=(strs[0], strs[1], strs[2], strs[3], strs[4].replace("\n",""))
            list.append(data)
            cursor=cnx.cursor()
            sql = "insert into data_test(uid,log_date,fr,is_login,url)values(%s,%s,%s,%s,%s)"
            if i>5000:
                cursor.executemany(sql,list)
                cnx.commit()
                print("插入")
                i=0
                list.clear()
            i=i+1
        if i>0:
            cursor.executemany(sql,list)
            cnx.commit()
        cnx.close()
        f.close()
        print("ok")
    def listFiles(self):
        d = os.listdir("E:/data/")
        return d
            
if __name__ == "__main__":
    readFile = ReadFile()
    readFile.readLines()
Python 相关文章推荐
python的id()函数解密过程
Dec 25 Python
python之wxPython菜单使用详解
Sep 28 Python
八大排序算法的Python实现
Jan 28 Python
python3实现TCP协议的简单服务器和客户端案例(分享)
Jun 14 Python
Python PyQt5标准对话框用法示例
Aug 23 Python
python3获取两个日期之间所有日期,以及比较大小的实例
Apr 08 Python
python验证码识别教程之灰度处理、二值化、降噪与tesserocr识别
Jun 04 Python
python3实现字符串操作的实例代码
Apr 16 Python
PyTorch基本数据类型(一)
May 22 Python
python中Ansible模块的Playbook的具体使用
May 28 Python
python判断是空的实例分享
Jul 06 Python
Python调用C/C++的方法解析
Aug 05 Python
python实现bitmap数据结构详解
Feb 17 #Python
python实现ftp客户端示例分享
Feb 17 #Python
用smtplib和email封装python发送邮件模块类分享
Feb 17 #Python
python类参数self使用示例
Feb 17 #Python
python实现爬虫下载漫画示例
Feb 16 #Python
python发送邮件示例(支持中文邮件标题)
Feb 16 #Python
python定时器使用示例分享
Feb 16 #Python
You might like
php中filter_input函数用法分析
2014/11/15 PHP
PHP面向对象程序设计__tostring()和__invoke()用法分析
2019/06/12 PHP
jQuery温习篇 强大的JQuery选择器
2010/04/24 Javascript
js加载之使用DOM方法动态加载Javascript文件
2013/11/08 Javascript
JavaScript节点及列表操作实例小结
2015/08/05 Javascript
CSS3 media queries结合jQuery实现响应式导航
2016/09/30 Javascript
canvas实现刮刮卡效果
2017/03/14 Javascript
获取url中用&隔开的参数实例(分享)
2017/05/28 Javascript
AngularJS实现的自定义过滤器简单示例
2019/02/02 Javascript
[55:26]DOTA2-DPC中国联赛 正赛 Aster vs LBZS BO3 第一场 2月23日
2021/03/11 DOTA
Python实现爬取知乎神回复简单爬虫代码分享
2015/01/04 Python
Windows安装Python、pip、easy_install的方法
2017/03/05 Python
Windows下anaconda安装第三方包的方法小结(tensorflow、gensim为例)
2018/04/05 Python
Python实现高斯函数的三维显示方法
2018/12/29 Python
python使用selenium实现批量文件下载
2019/03/11 Python
Django中间件基础用法详解
2019/07/18 Python
Python Django 添加首页尾页上一页下一页代码实例
2019/08/21 Python
Python中的X[:,0]、X[:,1]、X[:,:,0]、X[:,:,1]、X[:,m:n]和X[:,:,m:n]
2020/02/13 Python
Django实现whoosh搜索引擎使用jieba分词
2020/04/08 Python
Python闭包装饰器使用方法汇总
2020/06/29 Python
python Matplotlib数据可视化(2):详解三大容器对象与常用设置
2020/09/30 Python
python关于倒排列的知识点总结
2020/10/13 Python
Python3读写ini配置文件的示例
2020/11/06 Python
详解HTML5 Canvas标签及基本使用
2020/01/10 HTML / CSS
奥地利时尚、美容、玩具和家居之家:Kastner & Öhler
2020/04/26 全球购物
服务行业个人求职的自我评价
2013/12/12 职场文书
最新奶茶店创业计划书范文
2014/02/08 职场文书
党的群众路线教育实践活动心得体会
2014/03/03 职场文书
歌颂祖国的演讲稿
2014/05/04 职场文书
工地门卫岗位职责范本
2014/07/01 职场文书
2014最新股权信托合同协议书
2014/11/18 职场文书
大学开学感言
2015/08/01 职场文书
课文《燕子》教学反思
2016/02/17 职场文书
教师学期述职自我鉴定
2019/08/16 职场文书
python爬取新闻门户网站的示例
2021/04/25 Python
MySQL中distinct和count(*)的使用方法比较
2021/05/26 MySQL