如何在 Python 中规范化来自 Mysql 的数据挖掘 Min Max

Posted 2023-04-13

【中文标题】如何在 Python 中规范化来自 Mysql 的数据挖掘 Min Max

【英文标题】：How Normalize Data Mining Min Max from Mysql in Python

【发布时间】：2019-07-31 17:35:21

【问题描述】：

这是我在 mysql 中的数据示例，我使用 lib flashext.mysql 和 python 3

RT      NK    NB    SU    SK    P    TNI IK   IB     TARGET
84876   902  1192  2098  3623  169   39  133  1063   94095
79194   902  1050  2109  3606  153   39  133   806   87992
75836   902  1060  1905  3166  161   39  133   785   83987
75571   902   112  1878  3190  158   39  133   635   82618
83797  1156   134  1900  3518  218   39  133   709   91604
91648  1291   127  2225  3596  249   39  133   659   99967

公式 MinMax 是

(data-min)/(max-min)*0.8+0.1

我从 csv 得到了代码规范化数据

import pandas as pd
df = pd.read_csv("dataset.csv")
norm = (df - df.min()) / (df.max() - df.min() )*0.8 + 0.1

我知道这样算

(first data of RT - min column RT data) / (max column RT- min column RT) * 0.8 + 0.1

下一栏也是如此

(first data of NK - min column NK data) / (max column NK- min column NK) * 0.8 + 0.1

请帮助我，如何规范化数据库中的数据，它称为“数据集”并将其规范化并输入另一个表中称为“规范化”

【问题讨论】：

你是想把你的公式变成python还是如何管理数据库或如何通过python（或其他方式）管理数据库？

看起来您在 Python 中使用 Pandas 有一个有效的解决方案。您是否尝试将相同的计算转换为 MySQL（可能通过 python 运行）？

之前，我在另一个帐户中问过同样的事情。但它来自CSV，然后被标准化，我得到了公式并且它起作用了（这是一个公式）“ import pandas as pd df = pd.read_csv("dataset.csv") norm = (df - df.min() ) / (df.max() - df.min() )*0.8 + 0.1"。现在我想问一下如何规范化来自数据库而不是来自 CSV 的数据

是的，我的意思是这样，你能帮帮我吗？

好的，那么你是想从 MySQL 中拉取数据，然后在 pandas 中进行归一化，还是让 MySQL 进行归一化计算？

【参考方案1】：

下面是一个 SQL 查询，可以帮助您入门（假设您要按列计算）：

   create table normalize as
     select
       (RT - min(RT)over()) / (max(RT)over() - min(RT)over()) * 0.8 + 0.1 as RT_norm
     from test;

我在 sqlite3 中测试了这个查询，而不是 MySQL。它不一定是最佳的，但直观地遵循公式。请注意，over 将 min / max 聚合函数转换为窗口函数，这意味着它们会查看整列，但结果会在每一行上重复。

待办事项

您仍然需要：

通过 Python 发送 MySQl 查询 对每一列重复相同的代码 为每一列命名 将结果表分配给模式（很可能） 在列最大值和最小值相等的情况下处理除以 0

【讨论】：

考虑：***.com/questions/372885/…

***.com/questions/55084936/…