使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略

Posted

技术标签:

【中文标题】使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略【英文标题】:Best strategy for querying large MySQL table with Powershell and storing in a variable 【发布时间】:2014-07-07 03:09:08 【问题描述】:

我正在尝试找出将 mysql 的结果集存储在 Powershell 变量中的最佳策略(针对内存消耗进行优化)。

我问的原因是因为我有一个半大表(3000 万行,4 列),它在磁盘上占用 2GB,但在存储在类型变量中时消耗 8GB 内存:[System.Collections.ArrayList ]

基本上,我正在这样做:

$devTable = sql_datareader -query $query

完成有点慢(10 分钟)......我可以忍受(有点)。但是,困扰我的是内存消耗。我知道我可以进行多个查询,遍历结果,然后清除数组。但是,理想情况下,我想避免多次查询。

有人对如何降低内存压力有任何想法吗?

谢谢!

【问题讨论】:

结束问题,因为没有办法实现目标并保持低内存消耗。 【参考方案1】:

结束问题,因为没有办法实现目标并保持低内存消耗。

【讨论】:

以上是关于使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略的主要内容,如果未能解决你的问题,请参考以下文章

使用大型 mysql 数据库改进查询 UPDATE

大型单表的 MySQL 查询优化 [关闭]

使用 Powershell 将大型 CSV 批量导入 SQL Server

使用 PowerShell 中的双引号执行 MySQL-Command

MySQL 索引未在大型数据库中使用

在 Powershell 中,按记录类型拆分大型文本文件的最有效方法是啥?