pandas读取大文件（chunksize）并通过sqlalchemy写入MySQL数据库

Posted 2021-05-18 Data+Science+Insight

pandas读取大文件（chunksize）并通过sqlalchemy写入MySQL数据库

 

在pandas中读取表类文件的时候有一个参数chunksize，只要指定了这个参数的数值，那么得到的结果就不是一个DataFrame对象，而是一个TextFileReader，这个对象是一个生成器对象。

ORM 全称 Object Relational Mapping, 翻译过来叫对象关系映射。简单的说，ORM 将数据库中的表与面向对象语言中的类建立了一种对应关系。这样，我们要操作数据库，数据库中的表或者表中的一条记录就可以直接通过操作类或者类实例来完成。

 

SQLAlchemy 是Python 社区最知名的 ORM 工具之一，为高效和高性能的数据库访问设计，实现了完整的企业级持久模型。

 

使用pip安装必须的python包；

pip install pandas
pip install matplotlib
pip install sqlalchemy

import相应的类库或者函数：

import pandas as pd
import mysql.connector
from sqlalchemy import types, create_engine

建立数据库连接：

# MySQL Connection
MYSQL_USER 		= \'root\'
MYSQL_PASSWORD 	= \'root\'
MYSQL_HOST_IP 	= \'127.0.0.1\'
MY