php导入大量数据到mysql性能优化技巧


Posted in PHP onDecember 29, 2014

本文实例讲述了php导入大量数据到mysql性能优化技巧。分享给大家供大家参考。具体分析如下:

在mysql中我们结合php把一些文件导入到mysql中,这里就来分享一下我对15000条记录进行导入时分析与优化,需要的朋友可以参考一下.

之前有几篇文章,说了最近tiandi在帮朋友做一个小项目,用于统计电话号码的,每次按需求从数据库里随机生成打包的电话号码,然后不停地让人打这些电话号码推销产品(小小鄙视一下这样的行为)。但是朋友要求帮忙,咱也不能不帮啊,是吧。程序两个星期前已经做好,测试完毕交工。前几天朋友来电说,每天导入电话号码的时间越来越长,有时候一万条记录就要半个小时以上,看看能不能想办法提高一下这个速度。

我理了一下思路,数据库结构很简单,可以认为就两个字段,一个字段存电话号码,另一字段存类别,类别分别为c,d,e等等,分别代表已经拨通过此电话,未拨通过此电话,未拨打过此电话等等状态,而整个程序逻辑是这样的.

■拿到一个txt文件,里面存的是电话号码

■通过程序将txt文件导入到mysql里

■导入的时候,检测txt里的电话号码是否和mysql里的重复,如果不重复,直接插入新记录,如果重复,就需要按照判断电话号码所属类别来进行更新。

由于每个txt里的电话号码导入时,都需要做一次比较,所以程序肯定会耗时一些,这里我们先撇开这个原因,因为本文章的标题是优化写入速度,那么程序什么时候会写入记录呢?通过上面的逻辑得知,在匹配数据库时,没有发现存在记录时会发生写入数据库操作(当然update也算,只是这里只讨论insert),那么将上述逻辑转化为代码,差不多如下:

//$array为txt文件explode出来的数组,每一个为一个电话号码, $str为类型 

for($i=0; $i<count($array); $i++)  

{  

        $tmpstr = "'". $array[$i] ."','". $str ."'"; 

        $sql="INSERT INTO ".$usertable." (tel,type) VALUES (".$tmpstr.")"; 

        mysql_query($sql); 

}

以上代码完全正确,但是效率低下,当txt文件里包含了上万个电话号码时,即会有上万次的插入数据库操作,虽然每次的数据库写入操作都是很快的,但是上万条累计下来,这个执行时间不容忽视,tiandi简单的测试了一下插入15000万条记录,耗时差不多5分钟,如果再加上之前的逻辑判断等等过程,那么半个小时还真得不算少了,这样可不行,必须减少数据库库写入次数才对,于是上面代码变更为以下:
$sql2="INSERT INTO ".$usertable." (tel,type,updatetime) VALUES"; 

for($i=0; $i<count($array); $i++)  

{  

        $tmpstr = "'". $array[$i] ."','". $str ."'"; 

 $sql2 .= "(".$tmpstr."),"; 

} 

$sql2 = substr($sql2,0,-1);   //去除最后的逗号 

mysql_query($sql2);

这样,整个写入操作只有1次,大大地缩短了执行时间,差不多10秒就搞定了15000条记录,好了,本文到此结束,如果你也遇上写入大量数据到mysql耗时长的问题时,不如试试本文的优化方式.

希望本文所述对大家的php程序设计有所帮助。

PHP 相关文章推荐
Windows下安装Memcached的步骤说明
Apr 25 PHP
ecshop 批量上传(加入自定义属性)
Mar 20 PHP
php 使用GD库为页面增加水印示例代码
Mar 24 PHP
PHP callback函数使用方法和注意事项
Jan 23 PHP
PHP实现多文件上传的方法
Jul 08 PHP
PHP接收json 并将接收数据插入数据库的实现代码
Dec 01 PHP
Zend Framework教程之Zend_Layout布局助手详解
Mar 04 PHP
Mac下php 5升级到php 7的步骤详解
Apr 26 PHP
深入理解Yii2.0乐观锁与悲观锁的原理与使用
Jul 26 PHP
PHP注释语法规范与命名规范详解篇
Jan 21 PHP
PHP实现APP微信支付的实例讲解
Feb 10 PHP
Thinkphp 框架扩展之应用模式实现方法分析
Apr 27 PHP
推荐几个开源的微信开发项目
Dec 28 #PHP
dedecms集成财付通支付接口
Dec 28 #PHP
VPS中使用LNMP安装WordPress教程
Dec 28 #PHP
php随机取mysql记录方法小结
Dec 27 #PHP
php使用PDO方法详解
Dec 27 #PHP
PHP把MSSQL数据导入到MYSQL的方法
Dec 27 #PHP
php将图片保存入mysql数据库失败的解决方法
Dec 27 #PHP
You might like
日本十大最佳动漫,全都是二次元的神级作品
2019/10/05 日漫
PHP配置文件中最常用四个ini函数
2007/03/19 PHP
PHP+Mysql+jQuery查询和列表框选择操作实例讲解
2015/10/22 PHP
PHP扩展开发教程(总结)
2015/11/04 PHP
php自定义函数转换html标签示例
2016/09/29 PHP
PHP与SQL语句常用大全
2016/12/10 PHP
Jquery AJAX 用于计算点击率(统计)
2010/06/30 Javascript
用js正确判断用户名cookie是否存在的方法
2014/01/28 Javascript
angularjs学习笔记之简单介绍
2015/09/26 Javascript
jQuery版本升级踩坑大全
2016/01/12 Javascript
Vuex之理解Store的用法
2017/04/19 Javascript
Vue学习笔记进阶篇之vue-cli安装及介绍
2017/07/18 Javascript
以BootStrap Tab为例写一个前端组件
2017/07/25 Javascript
基于JSONP原理解析(推荐)
2017/12/04 Javascript
JS实现十分钟倒计时代码实例
2018/10/18 Javascript
小程序实现列表点赞功能
2018/11/02 Javascript
vue.js 打包时出现空白页和路径错误问题及解决方法
2019/06/26 Javascript
[03:42]2018完美盛典-《加冕》
2018/12/16 DOTA
python用户评论标签匹配的解决方法
2018/05/31 Python
Python使用pyodbc访问数据库操作方法详解
2018/07/05 Python
python爬虫之urllib3的使用示例
2018/07/09 Python
元组列表字典(莫烦python基础)
2019/04/03 Python
详解python播放音频的三种方法
2019/09/23 Python
通过代码实例了解Python异常本质
2020/09/16 Python
Python模拟登录和登录跳转的参考示例
2020/10/30 Python
伦敦剧院门票:London Theatre Direct
2018/11/21 全球购物
日本高岛屋百货购物网站:TAKASHIMAYA
2019/03/24 全球购物
怀旧香味蜡烛:Homesick
2019/11/02 全球购物
销售人员自我评价怎么写
2013/09/19 职场文书
升学宴答谢词
2015/01/05 职场文书
关于教师节的广播稿
2015/08/19 职场文书
2016党员干部廉洁自律心得体会
2016/01/13 职场文书
2016小学教师读书心得体会
2016/01/13 职场文书
2016年企业安全生产月活动总结
2016/04/06 职场文书
导游词幽默开场白
2019/06/26 职场文书
基于Pygame实现简单的贪吃蛇游戏
2021/12/06 Python