如何使用 executemany 将 Python 中的字典列表插入 MySQL

Posted 2023-02-24

【中文标题】如何使用 executemany 将 Python 中的字典列表插入 MySQL

【英文标题】：How can I use executemany to insert into MySQL a list of dictionaries in Python

【发布时间】：2013-08-17 03:54:49

【问题描述】：

我目前正在使用 mysql 和 Python 从网络上抓取数据。具体来说，我正在抓取表数据并将其插入到我的数据库中。我当前的解决方案有效，但我觉得它效率极低，如果我不重写代码，很可能会锁定我的数据库。这是我目前使用的（部分代码）：

itemBank = []
for row in rows:
    itemBank.append((tempRow2,tempRow1,tempRow3,tempRow4)) #append data

#itemBank List of dictionaries representing data from each 
row of the table. i.e. 
('Item_Name':"Tomatoes",'Item_Price':"10",'Item_In_Stock':"10",'Item_Max':"30")

for item in itemBank:
    tempDict1 = item[0]
    tempDict2 = item[1]
    tempDict3 = item[2]
    tempDict4 = item[3]

    q = """ INSERT IGNORE INTO
         TABLE1   
        (
           Item_Name,
           Item_Price,
           Item_In_Stock,
           Item_Max,
           Observation_Date
         ) VALUES (
           "0",
           "1",
           "2",
           "3",
           "4"
           )
        """.format(tempDict1['Item_Name'],tempDict2['Item_Price'],tempDict3['Item_In_Stock'],
                   tempDict4['Item_Max'],getTimeExtra)

    try:
        x.execute(q)
        conn.commit()
    except:
        conn.rollback()

执行表格的每一行都很麻烦。我试过使用executemany，但我似乎无法弄清楚如何正确访问字典的值。 那么，鉴于我的数据结构，我如何在此处使用executemany 插入数据库？

【参考方案1】：

itemBank = [] 
for row in rows:
    itemBank.append((
        tempRow2['Item_Name'],
        tempRow1['Item_Price'],
        tempRow3['Item_In_Stock'],
        tempRow4['Item_Max'], 
        getTimeExtra
        )) #append data


q = """ insert ignore into TABLE1 (
        Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s)           
    """

try:
    x.executemany(q, itemBank)
    conn.commit()
except:
    conn.rollback()

希望对你有帮助

【参考方案2】：

对于需要使用“插入或更新”而不是“插入忽略”的任何人都可以使用下面的查询

q = """ INSERT INTO TABLE1 (Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s) ON DUPLICATE KEY UPDATE Item_Name = VALUES(Item_Name), 
        Item_Price = VALUES(Item_Price), Item_In_Stock = VALUES(Item_In_Stock), Item_Max = VALUES(Item_Max), 
        Observation_Date = VALUES(Observation_Date)       
    """ 

如果 Item_Name 是 TABLE1 的主键，则将其从更新部分中删除，如下所示，因为在更新中，主键不需要更新

q = """ INSERT INTO TABLE1 (Item_Name, Item_Price, Item_In_Stock, Item_Max, Observation_Date ) 
        values (%s,%s,%s,%s,%s) ON DUPLICATE KEY UPDATE Item_Price = VALUES(Item_Price), Item_In_Stock = VALUES(Item_In_Stock), Item_Max = VALUES(Item_Max), 
        Observation_Date = VALUES(Observation_Date)       
    """