用于访问 csv 文件中的值并使用 wamp 将其存储到数据库中的 python 程序

Posted 2023-02-25

【中文标题】用于访问 csv 文件中的值并使用 wamp 将其存储到数据库中的 python 程序

【英文标题】：python program for accessing values from csv files and storing it into a database using wamp

【发布时间】：2012-02-29 05:12:33

【问题描述】：

我是 Python 新手，WampServer。我想从 csv 文件（超过 10 GB）中检索值，并在经过一些处理后，使用 Wamp 有效地将它们存储在 mysql 数据库中。

我已经在 Wamp 服务器上安装了 Python 和 Django，并查看了以前的帖子，但是由于我是这个领域的新手，我从他们那里得到的东西不多。

有人可以为像我这样的初学者推荐合适的资源吗？我已经研究过Python Power! The Comprehensive Guide，但我并没有从中得到太多。任何帮助将不胜感激。

【参考方案1】：

您可以使用内置的csv module 从 CSV 文件中读取数据。例如：

>>> import csv
>>> open('test.csv','w').write('1,one\n2,two\n3,three\n')
>>> list(csv.reader(open('test.csv')))
[['1', 'one'], ['2', 'two'], ['3', 'three']]

您可以使用MySQL-python package 向MySQL 写入数据，它符合Python database API 并且是documented here。例如，在你安装了这个包之后，你可以做这样的事情：

>>> import MySQLdb
>>> conn = MySQLdb.connect(host, user, passwd, db)
>>> cursor = conn.cursor()
>>> cursor.executemany('INSERT INTO numbers (value, name) VALUES (%, %)',
...                    [['1', 'one'], ['2', 'two'], ['3', 'three']])
... 
>>> cursor.commit()

但是，如果您使用 Django 来管理数据库，那么您最好使用 Django 自己的数据库接口，例如 Model.save 将模型的实例保存到数据库中。

【讨论】：

谢谢，但是一个非常幼稚的问题，我可以使用 MySQL-python 包来处理 20GB 的文件并且仍然可以快速处理。

另外请推荐一些学习MySQL-python包的好书