pandas，读取或存储DataFrames的数据到mysql中

Posted 2021-02-12 每天1990

dataFrames格式的数据是表格形式的，mysql数据库中的数据也是表格形式的，二者可以很方便的读取存储

 

安装依赖的包

pip install pandas
pip install sqlalchemy
pip install pymysql

使用方法 

第一步：建立mysql数据库的连接

connect_info = \'mysql+pymysql://{}:{}@{}:{}/{}?charset=utf8\'.format("username", "password", "host", "port", "db数据库名")
engine = create_engine(connect_info)

 

第二步：读取存储数据库

此步使用的engine为第一步创建的数据库连接

1、读取数据库中的内容【read_sql】

import pandas
pandas.read_sql("sql语句", engine)

 

2、存储dataFrame数据到数据库中【to_sql】

df.to_sql(name=\'table表名\',
          con=engine,
          if_exists=\'append\',
          index=False,
          dtype={\'IterationId\': sqlalchemy.types.Integer(),
                 \'title\': sqlalchemy.types.NVARCHAR(length=255)
                 }
               )

 

方法说明：

df：dataFrame格式的数据，可以通过DataFrame()方法创建一个该对象

pandas.DataFrame({"ID": [], "标题": []})

name：存储到的表名

con：第一步创建的数据库链接

if_exists：

    fail：如果表存在，什么也不做

    replace：如果表存在，drop掉表，重新创建一个表，插入数据

    append：如果表不存在，创建表插入数据；如果表存在，原表追加数据存储

dtype：表字段对应过去的类型，例子举了整形和字符两种；（列不指定类型的话会用默认类型，但是如果类型不匹配会抛错）

 

 

注意点：

1、to_sql的源数据，列名必须和数据库里对应；且不能比数据库中列名多

如果缺少列名，会直接填充缺省值

2、缺省的列，要有默认值

存储到sql的列信息可以为空，但前提是数据库表字段写了默认值；或者类似id这种自增主键允许为空