如何并行删除多个表

Posted 2023-05-09

【中文标题】如何并行删除多个表

【英文标题】：How to delete multiple tables in parallel

【发布时间】：2021-01-15 05:23:07

【问题描述】：

我正在对 20 个左右的多个表执行批量删除。但现在它们是按顺序排列的（一个接一个）。所以他们需要时间。我可以使用 python 或 mysql 并行进行批量删除吗？它们都是独立的表。请有任何建议。我在 AWS EMR 中运行我的代码

delete from table1;
delete from table2;
delete from table3;

【问题讨论】：

这对您有帮助吗？ mysqltutorial.org/python-mysql-delete-data

我看到你删除了所有行。使用 TRUNCATE 而不是 DELETE。

@Akina 是的，这是我们计划的选项之一。

@cbracketdash 我们仅从 python 运行我们的代码。这就是我如何并行删除多个语句。

如果您的连接器允许多查询，则将所有查询放入一个多查询并执行。

【参考方案1】：

我找不到并行删除表的解决方案，但我相信可以使用 MAXDOP 查询选项参数使用并行性删除表。

-- DOPMAX stands for Degrees of Parallelism Maximum
delete from table1 option (DOPMAX 4);
delete from table2 option (DOPMAX 8);
delete from table3 option (DOPMAX 0); -- 0 means use all cpu's available

您可以通过微软的guide 了解更多信息。

【讨论】：

谢谢@Max Collier 我会调查的。 ，但我认为我的要求是更多基于 I/O 限制而不是 CPU 限制。

问题是MySQL-tagged，无法应用SQL Server的解决方案。