PHP 用PHPExcel往数据库导入大量数据

Posted 2023-04-16

比如excle中有很多数据，我要一次性导入的话会有死循环，而且有的会到不进去，。我怎么解决这个问题。。。。。导入大量数据excel

1、首先我们准备一个含有数据的Excel表格，表头和数据表中的表字段相对应。

2、在Thinkphp中引入PHPExcel类库。

3、然后我们编写导入的PHP代码。

4、然后我们编写导出的PHP代码。

5、然后我们进行导出测试发现可以导出即可。

参考技术A

1、将数据先放进文本文档（如果是几列，请按格式弄好，并用逗号隔开， 这里得符号可以换成其他）。

2、编写.ctl文档，如图。

3、将两个文件放到根目录下。

4、打开windows命令，执行sqlldr userid=用户名/密码@数据库   control=test2017.ctl。

5、执行结果会在执行窗口以及根目录的日志表，如果有报错，会写入.bad文件。

6、导入成功数据展示。

参考技术B php导出大量数据的Excel：
PHP从数据库分多次读取100万行记录，和分多次将100万行写入文本文件都没问题
Excel可以支持100万行记录，Excel 2003最大支持65536行，从2007版开始支持104万行了，目前2007的盗版应该比较普及了-_-! 问清楚客户是什么版本。
要导出excel的理由是非常充分和正确的，应该继续坚持。业务人员最熟悉的就是Excel，实在不熟悉现学现用也比别的快。只是要注意，当数据量达到10万行这个级别时，Excel的公式填充将会非常非常慢，如果再有LOOKUP()公式，基本上十分钟内处理CPU满载进程管理器杀不掉的状态，这时候其实xampp + phpmyadmin是一个易用性和性能都最平衡的选择
PHPExcel输出的是Excel XML格式，有个XML头和尾，中间是数据Body，需要将100万行都赋值给一个数组才可以调用PHPExcel->write()，这容易导致PHP执行超时或者内存超限，不妨调整一下php.ini配置，把超时时间和内存限制都改到很大
如果是输出csv格式，那就太简单了，你的问题可能是没给字段内容加引号，加上引号再调用fputcsv试试？其实fputcsv做的事情特别简单，你甚至可以不管它，自己把CSV文件的每一行拼接好了之后用file_put_contents写入 参考技术C 奇怪可以有更好的办法解决，
你可以像做分页一样，查询一段插入一段，

这样避免PHP的超时，

有时虽然用limit(0)无限大超时时间，但是大批量数据还是容易出现顺序和丢失的。 参考技术D 用set_time_limit(0);这样就避免了程序执行30秒自动停止了，可以一直执行追问

比如我导入10条数据，就执行成功。导入1百多条就空白了。而且只导入了69条。其他再补执行下去了。为什么

Thinkphp 用PHPExcel 导入Excel

搞了个简单的Excel导入, 用的是PHPExcel(百科:用来操作Office Excel文档的一个PHP类库, 基于微软的OpenXML标准和PHP语言)

好, 不说了, 开始吧...

首先得有PHPExcel类库, 点这里下载 https://github.com/Zmwherein/PHPExcel.git

然后把它放在 \\ThinkPHP\\Library\\Vendor(个人喜好, 能引入就行了)

如图:

PHPExcel.php 类似一个入口文件. 可以进去看看里面写的方法是怎个跑法..

这是界面:

首先来判断下有没有文件上传了(其实这里的应该还能优化写得更好的, 不过暂时个人能力有限)

 1 public function import()
 2     {
 3         // p($data_in_db);
 4         if ( ! empty($_FILES))
 5         {
 6             $upload = new \\Think\\Upload();
 7             $upload -> maxSize   =  3145728 ;
 8             $upload -> exts      =  array(\'xlsx\', \'xls\');
 9             $upload -> rootPath  =  \'./\'; // 设置附件上传根目录
10             $upload  -> savePath =  \'/Upload/excel/\'; // 设置附件上传（子）目录
11             $upload -> subName   =  false;
12             $upload -> saveName  =  \'time\';
13             
14             $info   =   $upload -> uploadOne($_FILES[\'import\']);
15             
16             if( ! $info)
17             {
18                 $this->error($upload->getError());
19             }

接着跑下去 , 导入的是PHPExcel.php和PHPExcel/IOFactory.php这两个文件

1 //导入PHPExcel 和 IOFactory类
2             Vendor(\'PHPExcel.PHPExcel\');
3             Vendor(\'PHPExcel.PHPExcel.IOFactory\');

因为是导入嘛,所以就调用createReader方法

$objReader = \\PHPExcel_IOFactory::createReader(\'Excel5\');

设置路径, 上传的文件在哪, 也就是加载个文件出来

$objPHPExcel = $objReader -> load($file_path, $encode=\'utf-8\');

这里说的是遍历行数, 从A到E(自己定义的,要取哪就取哪) 这里i要从2开始, 因为第一行是表头, 不是数据

 1 $sheet = $objPHPExcel -> getSheet(0);
 2             $highestRow = $sheet -> getHighestRow(); // 取得总行数
 3             // p($highestRow);
 4             // $highestColumn = $sheet->getHighestColumn(); // 取得总列数
 5             
 6             for($i=2;$i<=$highestRow;$i++)
 7             {
 8                 $data[\'user_name\'] = $objPHPExcel -> getActiveSheet() -> getCell("A".$i)->getValue();
 9                 $data[\'company\']   = $objPHPExcel -> getActiveSheet() -> getCell("B".$i)->getValue();
10                 $data[\'mobile\']    = $objPHPExcel -> getActiveSheet() -> getCell("C".$i)->getValue();
11                 $data[\'category\']  = $objPHPExcel -> getActiveSheet() -> getCell("D".$i)->getValue();
12                 $data[\'mark\']      = $objPHPExcel -> getActiveSheet() -> getCell("E".$i)->getValue();
13                 
14                 $allData[] = $data;
15             }
16             // p($allData);

测试表是这样的

现在打印个$allData出来看看 

 看, 数据出来了...

接下来要导入到数据库里面了->导入前得作个小判断. 比如我想如果数据库里的电话跟我想要导入的数据有相同的话, 就不要导入  类似这样的-> 大神们还有没有什么好一点的方法

 1  if (empty($allData))
 2             {
 3                 $this -> error(C(\'MESSAGE.ERROR_NODATA\'));
 4             }
 5             $data_in_db = M(\'Excel\') -> field(\'mobile\') -> select();//表Excel里所有数据
 6             foreach ($data_in_db as $key => $val)
 7             {
 8                 foreach ($allData as $k => $v)
 9                 {
10                     if ($val[\'mobile\'] == $v[\'mobile\'])
11                     {
12                         unset($allData[$k]);
13                     }
14                 }
15             }

 

导入时, 有两种方法 一是拼接sql 二是用foreach循环来导入

实测第一种要快得多!!!强烈建议拼接sql导入...不过如果导入的数据过大, 拼接起来的sql会很长, 因此数据会比较大...

 有时会报执行文件超时的错误 或者是遇到1153 – Got a packet bigger than ‘max_allowed_packet’ bytes OR

服务器直接挂了  这样的报错

这样你就要需要修改my.ini 里的max_allowed_packet把它稍设大一点就可以了,重启MySql

 OK..等待片刻, 差不多2W的数据就导进去了(^_^)

以上是我写的插入语句

 1 $sql = "INSERT INTO `db_excel` (". implode(\',\',array_keys($allData[0])) .") VALUES ";
 2             foreach ($allData as $key => $val)
 3             {
 4                 $sql .= "(";
 5                 $sql .= "\'".implode("\',\'", $val)."\'";
 6                 $sql .= "),";
 7             }
 8             $sql = rtrim($sql,\',\');
 9             // 出错返回false 否则返回成功行数
10             $res = D(\'Excel\') -> execute($sql);
11             if ($res === false)
12             {
13                 $this -> error(C(\'MESSAGE.ERROR_IMPORT\'));
14             }
15             else if ($res > 0)
16             {
17                 $this -> success(C(\'MESSAGE.SUCCESS_IMPORT\'), U(\'Excel/index\'));
18             }
19             else if ($res === 0)
20             {
21                 $this -> success(C(\'MESSAGE.SUCCESS_IMPORT_0\'), U(\'Excel/index\'));
22             }

 

 好了. 以上是利用PHPExcel导入Excel文件. 

还有很多不足且需要修改的地方, 还望恳请各位指出.