从多个相关的 excel 文件向 MySQL 插入信息

Posted

技术标签:

【中文标题】从多个相关的 excel 文件向 MySQL 插入信息【英文标题】:Insert Information to MySQL from multiple related excel files 【发布时间】:2020-02-26 17:27:36 【问题描述】:

所以我有这个来自车牌卡的巨大数据库架构,这些数据实际上存储在多个 excel 文件中,我的工作是创建一个数据库架构来将所有这些数据转储到 mysql 中,但现在我需要创建将数据插入数据库的过程。

这是一个如何对 excel 表进行排序的示例:

问题是所有这些 excel 文件都没有很好地标记。 我的问题是,我需要做什么才能创建一个脚本来将所有这些数据从 excel 转储到数据库? 我也在使用 ids、外键、主键、连接等。

到目前为止,我已经考虑过这个问题:

1.-将Excel中的表格结构规范化,以便用SQL语言插入数据。

2.-在python中创建一个脚本来插入每个表的数据。

你能帮我从哪里开始以及如何开始吗?我应该搜索哪些主题?

【问题讨论】:

我会写一个小 VBA 宏来导出到分隔文件,然后用你想要的任何工具读入 MySQL。 【参考方案1】:

使用 pandas,您可以轻松地从 excel(csv 和 xlsx)中读取数据并将数据转储到任何数据库中

import pandas as pd
df = pd.read_excel('file.xlsx')
df.to_sql(sql_table)

如果您在转储到 MySQL 时遇到性能问题,您可以在此处找到另一种转储方式 python pandas to_sql with sqlalchemy : how to speed up exporting to MS SQL?

【讨论】:

以上是关于从多个相关的 excel 文件向 MySQL 插入信息的主要内容,如果未能解决你的问题,请参考以下文章

实测:向MySql数据库导入excel表数据

java 在MySQL中存储文件,读取文件(包括图片,word文档,excel表格,ppt,zip文件等)

PHP向MySQL插入超大文本数据

python 从csv文件插入mysql数据库

使用查询将多个 excel 文件摄取到 MySQL

JAVA中,向MYSQL插入多条数据,如何判断如果某记录已经存在就不插入