python数据库批量插入数据的实现(executemany的使用)


Posted in Python onApril 30, 2021

正常情况下往数据库多张表中批量插入1000条数据,若一条一条insert插入,则调用sql语句查询插入需要执行几千次,花费时间长

现使用cursor.executemany(sql,args) ,可对数据进行批量插入,
其中args是一个包含多个元组的list列表,每个元组对应mysql当中的一条数据

以下是实例:
往数据库中的order表、order_detail表和pay表中插入1000条订单数据,订单详情数据以及支付数据
1.pay表中的id字段是order表中的pay_id字段
2.order表中的id字段是order_detail表中的order_id字段

1.初始化属性(包括host、port、user、password和database)

def __init__(self):
        self.__db_host=XXX
        self.__db_port=XXX
        self.__db_user=XXX
        self.__db_password=XXX
        self.__db_database=XXX

2.连接数据库

def isConnection(self):
        self.__db=pymysql.connect(
            host=self.__db_host,
            port=self.__db_port,
            user=self.__db_user,
            password=self.__db_password,
            database=self.__db_database,
            charset='utf8'
        )

3.批量往pay表中插入1000条数据

# 插入数据进pay表
    def pay_insert(self,pay_value):
        try:
            # 连接数据库
            self.isConnection()
            # 创建游标
            global cursor
            cursor=self.__db.cursor()
            # 执行
            cursor.executemany('insert into `pay表`(type,pay_money,pay_time,pay_no,STATUS,create_by,create_time,update_by,update_time) value (%s,%s,%s,%s,%s,%s,%s,%s,%s)',pay_value)
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()

    # 生成pay表所需字段,并调用sql
    def pay_data(self):
        pay_value=list()
        for i in range(1,1000):
            pay_value.append((0,8800,time.localtime(),str(random.randint(712300000000,712399999999)),3,49338,time.localtime(),49338,time.localtime()))
        now_time=time.localtime()
        self.pay_insert(pay_value)
        return now_time

4.pay表中生成的1000条数据,依次取出id

# 获取pay_id
    def get_pay_id(self,now_time):
        try:
            self.isConnection()
            global cursor
            cursor=self.__db.cursor()
            cursor.execute('select id from `pay表` where create_time >= %s',now_time)
            id_value=list()
            for i in range(1,1000):
                pay_id=cursor.fetchone()
                id_value.append(pay_id)
            return id_value
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()

 以下是完整代码:

# #!/usr/bin/python
# # -*- coding: UTF-8 -*-


import pymysql          # 先pip install pymysql
import random
import time

class DatabaseAcess:
    # 初始化属性(包括host、port、user、password和database)
    def __init__(self):
        self.__db_host=XXX
        self.__db_port=XXX
        self.__db_user=XXX
        self.__db_password=XXX
        self.__db_database=XXX

    # 连接数据库
    def isConnection(self):
        self.__db=pymysql.connect(
            host=self.__db_host,
            port=self.__db_port,
            user=self.__db_user,
            password=self.__db_password,
            database=self.__db_database,
            charset='utf8'
        )


    # 插入数据进pay表
    def pay_insert(self,pay_value):
        try:
            # 连接数据库
            self.isConnection()
            # 创建游标
            global cursor
            cursor=self.__db.cursor()
            # 执行
            cursor.executemany('insert into `pay表`(type,pay_money,pay_time,pay_no,STATUS,create_by,create_time,update_by,update_time) value (%s,%s,%s,%s,%s,%s,%s,%s,%s)',pay_value)

        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()


    # 生成pay表所需字段,并调用sql
    def pay_data(self,data_number):
        pay_value=list()
        for i in range(1,data_number):
            pay_value.append((0,8800,time.localtime(),str(random.randint(712300000000,712399999999)),3,49338,time.localtime(),49338,time.localtime()))
        now_time=time.localtime()
        self.pay_insert(pay_value)
        return now_time


    # 获取pay_id
    def get_pay_id(self,now_time,data_number):
        try:
            self.isConnection()
            global cursor
            cursor=self.__db.cursor()
            cursor.execute('select id from `pay表` where create_time >= %s',now_time)
            id_value=list()
            for i in range(1,data_number):
                pay_id=cursor.fetchone()
                id_value.append(pay_id)
            return id_value
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()


    # 插入数据进order表
    def order_insert(self,order_value):
        try:
            self.isConnection()
            global cursor
            cursor=self.__db.cursor()
            cursor.executemany('insert into `order表` (student_name,student_id,school_id,school_name,tel,height,sex,pay_id,order_no,status,original_price,payment_price,order_type,create_by,create_time,update_by,update_time,purchase_id,dept_id,sub_order_mid,class_name,shoe_size,student_no,weight) value (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)',order_value)
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()


    # 生成order表所需字段,并调用sql
    def order_data(self,id_value,data_number):
        order_value=list()
        for i in range(1,data_number):
            pay_id=str(id_value[i-1]).replace("L,)","").replace("(","")
            order_value.append(("周瑜",35999,346,"A城小学","13322222222",130,1,pay_id,str(random.randint(7100000000,7999999999)),2,8800,8800,1,49338,time.localtime(),49338,time.localtime(),405,121,564123698745632,"三年级 3班",30,30,30))
        sys_time=time.localtime()
        self.order_insert(order_value)
        return sys_time


    # 获取order_id
    def get_order_id(self,sys_time,data_number):
        try:
            self.isConnection()
            global cursor
            cursor=self.__db.cursor()
            cursor.execute('select id from `order表` where create_time >= %s',sys_time)
            order_id_list=list()
            for i in range(1,data_number):
                order_id_list.append(cursor.fetchone())
            return order_id_list
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()


    # 插入数据进order_detail表
    def order_detail_insert(self,detail_value):
        try:
            self.isConnection()
            global cursor
            cursor=self.__db.cursor()
            cursor.executemany('insert into `order_details表` (order_id,commodity_name,commodity_id,original_price,payment_price,img,number,status,create_by,create_time,update_by,update_time) value (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)',detail_value)
        except Exception as e:
            print e
        finally:
            cursor.close()
            self.__db.commit()
            self.__db.close()


    # 生成order_detail表所需字段,并调用sql
    def order_detail_data(self,order_id_list,data_number):
        detail_value=list()
        for i in range(1,data_number):
            order_id=str(order_id_list[i-1]).replace("L,)","").replace("(","")
            detail_value.append((order_id,"A城小学春季校服","1382932636506902530",8800,8800,"https://ygxf-dev2.obs.cn-north-1.myhuaweicloud.com:443/image%2F1618551784845-589.jpg",1,2,49338,time.localtime(),49338,time.localtime()))
        self.order_detail_insert(detail_value)


if __name__ == '__main__':
    db=DatabaseAcess()
    data_number=3
    db.order_detail_data(order_id_list=db.get_order_id(sys_time=db.order_data(id_value=db.get_pay_id(now_time=db.pay_data(data_number=data_number),data_number=data_number),data_number=data_number),data_number=data_number),data_number=data_number)
    print ("{0}条数据插入完成".format(data_number-1))

到此这篇关于python数据库批量插入数据的实现(executemany的使用)的文章就介绍到这了,更多相关python数据库批量插入 内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Python 相关文章推荐
Fiddler如何抓取手机APP数据包
Jan 22 Python
python调用百度语音识别api
Aug 30 Python
python 提取tuple类型值中json格式的key值方法
Dec 31 Python
python实现nao机器人手臂动作控制
Apr 29 Python
python set内置函数的具体使用
Jul 02 Python
python+openCV调用摄像头拍摄和处理图片的实现
Aug 06 Python
pytorch标签转onehot形式实例
Jan 02 Python
CentOS7下安装python3.6.8的教程详解
Jan 03 Python
如何基于pythonnet调用halcon脚本
Jan 20 Python
python+selenium+PhantomJS抓取网页动态加载内容
Feb 25 Python
python跨文件使用全局变量的实现
Nov 17 Python
用Python制作灯光秀短视频的思路详解
Apr 13 Python
Python如何把不同类型数据的json序列化
Apr 30 #Python
python实现三次密码验证的示例
Django一小时写出账号密码管理系统
python中的被动信息搜集
Apr 29 #Python
Python基础之元类详解
Apr 29 #Python
教你怎么用Python监控愉客行车程
Django程序的优化技巧
Apr 29 #Python
You might like
PHP 分页原理分析,大家可以看看
2009/12/21 PHP
php 在文件指定行插入数据的代码
2010/05/08 PHP
Smarty变量调节器失效的解决办法
2014/08/20 PHP
php中http与https跨域共享session的解决方法
2014/12/20 PHP
php-redis中的sort排序函数总结
2015/07/08 PHP
在 Laravel 中 “规范” 的开发短信验证码发送功能
2017/10/26 PHP
php下的原生ajax请求用法实例分析
2020/02/28 PHP
聊聊 PHP 8 新特性 Attributes
2020/08/19 PHP
最新优化收藏到网摘代码(digg,diigo)
2007/02/07 Javascript
Javascript new关键字的玄机 以及其它
2010/08/25 Javascript
根据配置文件加载js依赖模块
2014/12/29 Javascript
跟我学习javascript的最新标准ES6
2015/11/20 Javascript
React实现双向绑定示例代码
2016/09/19 Javascript
JavaScript比较两个数组的内容是否相同(推荐)
2017/05/02 Javascript
解析Json字符串的三种方法日常常用
2018/05/02 Javascript
vue服务端渲染页面缓存和组件缓存的实例详解
2018/09/18 Javascript
vue实现微信二次分享以及自定义分享的示例
2019/03/20 Javascript
vuex存储复杂参数(如对象数组等)刷新数据丢失的解决方法
2019/11/05 Javascript
Vue常用传值方式、父传子、子传父及非父子实例分析
2020/02/24 Javascript
[57:12]完美世界DOTA2联赛循环赛 Inki vs Matador BO2第一场 10.31
2020/11/02 DOTA
Python基于百度AI的文字识别的示例
2018/04/21 Python
python学习--使用QQ邮箱发送邮件代码实例
2019/04/16 Python
在Django model中设置多个字段联合唯一约束的实例
2019/07/17 Python
Python Django 页面上展示固定的页码数实现代码
2019/08/21 Python
浅谈tensorflow使用张量时的一些注意点tf.concat,tf.reshape,tf.stack
2020/06/23 Python
浅谈基于Canvas的手绘风格图形库Rough.js
2018/03/19 HTML / CSS
html5 postMessage前端跨域并前端监听的方法示例
2018/11/01 HTML / CSS
美国最大的骑马用品零售商:HorseLoverZ
2017/01/12 全球购物
塔吉特百货公司官网:Target
2017/04/27 全球购物
英国女士家居服网站:hush
2017/08/09 全球购物
热爱祖国的演讲稿
2014/05/04 职场文书
公司晚会策划方案
2014/05/17 职场文书
中学总务处工作总结
2015/08/12 职场文书
2016年过年放假安排通知
2015/08/18 职场文书
解决SpringBoot文件上传临时目录找不到的问题
2021/07/01 Java/Android
python实现手机推送 代码也就10行左右
2022/04/12 Python