Django数据存储 - SQL还是别的什么？

Posted 2021-03-27

我正在构建一个Django Web应用程序，它将基本上向用户提供静态数据。通过静态，我的意思是管理员将能够上传新的数据集，但用户不会创建数据条目。实际上，一旦数据被上传，它将在用户请求时是只读的。

鉴于这些是非常大的数据集（200k +行），我认为SQL将是存储数据的最佳方式 - 这避免了将大数据集读入内存（因为你必须使用pickle或json？）。这有使用Django模型访问数据的额外好处。

但是，我不确定执行此操作的最佳方法，或者是否有更好的SQL替代方法。我目前有一个管理页面，允许您上传.xlsx文件，然后将其解析并逐行添加为模型条目。它需要FOREVER（100K行30分钟以上）。也许我应该在Django之外创建一个全新的数据库，然后以某种方式导入它，但我找不到关于如何/应该如何完成的文档。任何想法将不胜感激！提前感谢任何智慧。

答案

您可以尝试使用.csv文件格式而不是.xlsx。 Python有一些库，允许您使用.csv格式（逗号分隔值）轻松写入sql数据库。 This答案可以提供进一步的帮助。我希望你能找到你想要的东西并快乐编码！