如何有效地将巨大的 sql 表加载到 asp.net 应用程序内存中以进一步迭代它?

Posted

技术标签:

【中文标题】如何有效地将巨大的 sql 表加载到 asp.net 应用程序内存中以进一步迭代它?【英文标题】:How to efficiently load a huge sql table to asp.net application memory for further iterating it? 【发布时间】:2015-09-16 17:41:11 【问题描述】:

这是一个普遍的问题。我知道有不同的方法可以在内存中存储大量数据,从那里检索并处理,所以我找到了 hashmap, hashtable 之类的东西。

问题是我不知道如何在 asp.net (C#) 中声明和使用它。你能告诉我怎么做吗:

    在代码隐藏中声明 hashmap

    把数据放进去

    从中获取数据

    什么是关键,什么是价值?对于 5 列 3 行的表,什么是键和值?如何使用 Hashmap 或 Dictionary 将这张表加载到内存中?

对于在内存中快速加载大量数据表并快速迭代以构建 html 表,您有什么建议?

【问题讨论】:

见***.com/questions/1273139/… 您希望我们从 MSDN 帮助中复制并粘贴下面链接到的字典中的示例? 为什么要在内存中加载一个巨大的sql表?您有简单的 SQL 表。为什么不直接消费表呢?你为什么要让这件事变得困难并耗尽内存?您要解决的问题是什么? meta.stackexchange.com/questions/66377/what-is-the-xy-problem 【参考方案1】:

如果你想做这个服务器端,我想你正在寻找 C# Dictionary 类。

https://msdn.microsoft.com/en-us/library/xfhwa508(v=vs.110).aspx

在 ASP.NET 中,特别是如果这是出于缓存目的,您可能应该考虑使用 ASP.NET 缓存

https://msdn.microsoft.com/en-us/library/aa478965.aspx

【讨论】:

以上是关于如何有效地将巨大的 sql 表加载到 asp.net 应用程序内存中以进一步迭代它?的主要内容,如果未能解决你的问题,请参考以下文章

如何有效地将数据从 CSV 加载到数据库中?

如何有效地将 Pandas Dataframe 保存到一个/多个 TFRecord 文件中?

如何有效地将数据附加到 C 中的 HDF5 表?

有效地将许多大型 CSV 文件中的 XYZ 坐标排序到小图块中

如何有效地将大文件加载到 IndexedDB 存储中?我的应用程序在超过 100,000 行时崩溃

如何有效地将大型 .tsv 文件上传到 pyspark 中具有拆分列的 Hive 表?