基于变分自动编码器（Variational Autoencoders）疾病预测系统实战：(Keras实现并可视化训练和验证误差最后给出topK准确率和召回率)

Posted 2021-06-30 Data+Science+Insight

基于变分自动编码器（Variational Autoencoders）疾病预测系统实战：(Keras实现并可视化训练和验证误差、最后给出topK准确率和召回率)

本文中使用的VAE算法以病人病史为输入。患者医疗病历被表示为二进制向量，编码器学习对这种二进制矢量输入进行编码。这导致这些诊断结果相似的病患向量特征在潜在空间中彼此编码得更接近。而实际也证明现实的很多疾病与其引发的多种并发症存在各种相关关系。根据这个原理可以了解患者的概率分布信息和他们所在的诊断集群。

例如，拿老年性糖尿病举个例子，在这样一组患有糖尿病的老年群组中，常见的相关的其他医疗诊断伴随有胆固醇，高血压，关节炎等。如果一个病人的诊断集上写着糖尿病和胆固醇之类的东西，这个病人就会被映射到潜在维度上与之前提到的诊断的老年人相同的空间。将相似的患者映射到相似的潜在空间对解码重建到原始空间有非常有利的影响。解码后的结果是，对于一个特定的病人，当有高概率发生的漏诊事件也会被重建。

因此，对具有相似病患医疗历史的病人，解码器输出较高的诊断概率。协同过滤因此通过可变推理来获得。这种以各种协同过滤的形式来填补缺失诊断的或者漏诊的能力就是本文应用这种技术来预测与之关联的并发症的诊断的原因。

在医疗行业，任何病人遇到的诊断，都已经用诊断代码进行了标准化，每种疾病以及其对应的医疗状态和条件都映射到了诊断代码，用ICD10表示。

采用的是从XXX收集来的数据，原始数据包含了不同病人在不同年份，不同医院的诊断信息，我们把这些患者的历史诊断数据通过数据分组合并整合成一张宽数据表，只保留患者不同历史时期