走两步！AI通过步态诊断帕金森；从入门到如土·AI绘画中文指南；超好用的视频补帧软件；YOLO7人脸检测实现；前沿论文 | ShowMeAI资讯日报

Posted 2023-04-09 ShowMeAI

👀日报合辑 | 📆电子月刊 | 🔔资料下载 | 🍩@韩信子

📢 AI看走路诊断帕金森，MS Video plus 算法使得步态分析更便宜

https://ieeexplore.ieee.org/document/9896159

神经系统疾病（例如多发性硬化症、帕金森病等）通常会导致一个人的步态发生微妙的变化，即使在疾病早中期也有显现。因此，当怀疑一个人可能患有某种神经系统疾病时，医生通常会评估该人的行走能力。只需查看这个人的步态，就有可能发现出现神经系统潜在疾病的线索。

在最近的一项研究中，伊利诺伊大学研究人员通过探索发现，将摄像机与人工智能技术相结合，通过评估一个人的步态，可以识别由帕金森病或多发性硬化症患病风险的人群。9月20日发表在 IEEE 生物医学和健康信息学杂志上的结果表明，该方法可以达到 79% 的准确率。

研究人员招募了 33 名志愿者，其中 10 名患有 MS，9 名患有帕金森病，14 名没有任何神经系统疾病。所有志愿者都被要求在跑步机上行走，而两个标准 RGB 摄像机从侧面和正面角度记录他们臀部、膝盖、脚踝、大小脚趾和脚跟的动作和身体坐标。

研究人员总共开发并验证了 16 种不同的 AI 算法，来分析这些坐标如何随时间移动，以寻找患病与否的差异。其中几种算法的准确率超过 75%，性能最佳的卷积深度学习模型达到了 79% 的准确率。

工具&框架

🚧 『kernl』仅需一行代码，加速运行 Pytorch Transformer 模型

https://github.com/ELS-RD/kernl

https://www.kernl.ai/

Kernl 让你在 GPU 上运行 Pytorch transformer 模型时，只需一行代码就能快几倍，而且它的设计也使其非常易懂。下图所示为 3090 RTX 上的运行结果，可以观察到最后一列的蓝色加速明显。

🚧 『SponsorBlock』跳过 Youtube 视频贴片广告的浏览器扩展

https://github.com/ajayyy/SponsorBlockServer

https://sponsor.ajay.app/

SponsorBlock 是一个可以跳过 YouTube 视频中广告片段的扩展。它的实现是基于众包的形式，收集任何人提交的 YouTube 视频的广告片段的开始和结束时间，一次收集之后，其他人将共享这个信息并跳过相应的广告。

🚧 『yolov7-face』YOLO7人脸检测实现

https://github.com/derronqi/yolov7-face

这是一个YOLO7的人脸检测实现，返回人脸和关键点信息。

🚧 『Squirrel-RIFE (松鼠补帧)』基于RIFE算法的视频补帧软件

https://github.com/Justin62628/Squirrel-RIFE

Squirrel 是一款以RIFE为核心，提升视频流畅度的补帧软件。Squirrel 显存占用小，速度是 DAIN 的10-25倍，且能超高精度转场识别，可在多数视频中达到95%以上的精确度，不破坏丝滑效果。此外还包含抽帧处理，去除动漫卡顿感。

博文&分享

👍 『Stable Diffusion Book』从入门到如土·AI绘画中文指南大全

https://github.com/sudoskys/StableDiffusionBook

https://draw.dianas.cyou/

这是一份关于使用 AI 进行绘画资源大全，目前主要内容包含 Stable Diffusion WebUi 和 NovelA。Stable Diffusion WebUi（简称 SDWebUi）是一个基于 Gradio 库的 Stable Diffusion 浏览器界面。NovelAI（简称 NAI）用于 AI 辅助创作、讲故事、虚拟陪伴，是 Stable diffusion 的二次元特化版本。

文档包含以下板块：

• 起步于此：介绍了一些术语和新闻内容。有新动态会更新到新闻页面。
• 开始之前：列举了入门的要求，介绍了一些基本的方案。
• 安装配置：介绍了WebUi 的安装和运行，还有运行时候遇到的错误处理指南。
• 绘画调试：解释了关于 GPU 和 NAI Leak 的内容，还介绍了如何配置应用程序，解决图片生成出现的错误，介绍了应用程序本身相关的使用技巧。
• 绘画指南：介绍了如何应用和相关的实践操作，指导 如何写参数 和 如何上手使用 。
• 训练模型：介绍了如何使用和训练风格化模型，以及基本常识和训练方法。
• 参考资料：这是一个用于速查的快速链接页面，备份了所有有用的链接。

数据&资源

🔥 『CSuite』因果关系基准数据集

https://github.com/microsoft/csuite

CSuite 是一个数据集集合，用于对因果机器学习算法进行基准测试。每个数据集由实际的因果图组成、4000行观察训练数据、2000行观测测试数据、介入测试数据等内容组成。数据从已知的手工结构方程模型 (SEM) 生成。不同的数据集旨在测试因果发现和推理算法的不同特征。

研究&论文

科研进展

• 2022.10.14 『数据增强』 TokenMixup: Efficient Attention-guided Token-level Data Augmentation for Transformers
• 2022.10.11 『语言模型』 A Kernel-Based View of Language Model Fine-Tuning
• 2022.10.11 『语音编辑』 GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models

⚡ 论文：TokenMixup: Efficient Attention-guided Token-level Data Augmentation for Transformers

论文时间：14 Oct 2022

领域任务：Data Augmentation, Image Classification, 数据增强，图像分类

论文地址：https://arxiv.org/abs/2210.07562

代码实现：https://github.com/mlvlab/tokenmixup

论文作者：Hyeong Kyu Choi, Joonmyung Choi, Hyunwoo J. Kim

论文简介：To this end, we propose TokenMixup, an efficient attention-guided token-level data augmentation method that aims to maximize the saliency of a mixed set of tokens.

论文摘要：Mixup 是一种常用的图像分类数据增强技术。混合方法的最新进展主要集中在基于显着性的混合上。然而，许多显着性检测器需要大量计算，并且对于参数繁重的变压器模型来说尤其繁重。为此，我们提出了 TokenMixup，这是一种有效的注意力引导的令牌级数据增强方法，旨在最大化混合令牌集的显着性。与基于梯度的方法相比，TokenMixup 提供了 x15 更快的显着性感知数据增强。此外，我们引入了 TokenMixup 的变体，它在单个实例中混合令牌，从而实现多尺度特征增强。实验表明，我们的方法显着提高了基线模型在 CIFAR 和 ImageNet-1K 上的性能，同时比以前的方法更有效。在从头开始的变压器模型中，我们还在 CIFAR-100 上达到了最先进的性能。代码可在 https://github.com/mlvlab/TokenMixup 获得。

⚡ 论文：A Kernel-Based View of Language Model Fine-Tuning

论文时间：11 Oct 2022

领域任务：Language Modelling, 语言模型

论文地址：https://arxiv.org/abs/2210.05643

代码实现：https://github.com/princeton-nlp/lm-kernel-ft

论文作者：Sadhika Malladi, Alexander Wettig, Dingli Yu, Danqi Chen, Sanjeev Arora

论文简介：It has become standard to solve NLP tasks by fine-tuning pre-trained language models (LMs), especially in low-data settings.

论文摘要：通过微调预训练语言模型 (LM) 来解决 NLP 任务已成为标准，尤其是在低数据环境中。对经验成功的理论理解很少，例如，为什么在几十个训练点上微调具有 108 个或更多参数的模型不会导致过度拟合。我们研究了神经切线内核（NTK）——它起源于一个模型，用于研究具有适当随机初始化的无限宽网络的梯度下降动力学——是否描述了预训练 LM 的微调。这项研究的灵感来自 NTK 在计算机视觉任务中的出色表现（Wei et al., 2022）。我们还将 NTK 形式主义扩展到使用 Adam 进行微调。我们提供了广泛的实验，表明一旦下游任务通过提示被表述为语言建模问题，NTK 镜头通常可以在使用 SGD 和 Adam 进行微调期间合理地描述模型更新。这种内核观点还为基于参数有效的子空间微调方法的成功提供了一种解释。最后，我们建议通过张量程序（Yang，2020）对我们的发现进行正式解释。

⚡ 论文：GAN You Hear Me? Reclaiming Unconditional Speech Synthesis from Diffusion Models

论文时间：11 Oct 2022

领域任务：Disentanglement, speech editing, 语音编辑

论文地址：https://arxiv.org/abs/2210.05271

代码实现：https://github.com/rf5/simple-asgan

论文作者：Matthew Baas, Herman Kamper

论文简介：As in the StyleGAN family of image synthesis models, ASGAN maps sampled noise to a disentangled latent vector which is then mapped to a sequence of audio features so that signal aliasing is suppressed at every layer.

论文摘要：我们提出了 AudiostyleGAN (ASGAN)，一种用于无条件语音合成的新型生成对抗网络 (GAN)。与 StyleGAN 系列的图像合成模型一样，ASGAN 将采样噪声映射到解耦的潜在向量，然后将其映射到音频特征序列，从而在每一层抑制信号混叠。为了成功训练 ASGAN，我们引入了许多新技术，包括对自适应鉴别器增强的修改，以概率地跳过鉴别器更新。 ASGAN 在 Google Speech Commands 数据集上实现了无条件语音合成的最先进结果。它也比性能最好的扩散模型快得多。通过鼓励分离的设计，ASGAN 能够执行语音转换和语音编辑，而无需经过明确培训。 ASGAN 证明 GAN 与扩散模型仍然具有很强的竞争力。代码、模型、示例：https://github.com/RF5/simple-asgan/

我们是 ShowMeAI，致力于传播AI优质内容，分享行业解决方案，用知识加速每一次技术成长！

◉ 点击 日报合辑，订阅话题 #ShowMeAI资讯日报，可接收每日最新推送。

◉ 点击 电子月刊，快速浏览月度合辑。

ConnectedLife与Ocean Protocol合作对抗帕金森病

新加坡，<3月20日> - ConnectedLife和Ocean Protocol宣布合作，通过病患数据信息安全共享来促进帕金森病的诊断与治疗。

通过结合物联网（IoT）与深度学习技术，ConnectedLife不断收集动作的数据，以客观地监测帕金森病患者的动作症状。通过新加坡国家神经科学协会与德国及土耳其的其它研究合作伙伴的临床试验，ConnectedLife汇总了帕金森病患者上万分钟的自由生活运动数据。该原始数据通过不间断的监测与处理，建立一个预测模型用以客观检测帕金森病运动症状。Ocean Protocol提供了能够在保护隐私和安全的方式下分享病患数据信息的技术平台。

全世界有超过1000万人患有帕金森病。至今，帕金森病仍无法被治愈，并且目前的治疗仅限于缓解症状，其中最值得注意的是自发性运动的丧失。经过50年的研究，左旋多巴仍被认为是最有效的治疗药物，但长期使用会导致患者产生运动症状波动和异动症。

随着物联网技术的到来，通过收集大量的患者数据用以促进研究与疾病管理。为此，健康数据的共享是非常必要的。但是信任的缺失、隐私以及安全问题让数据分享变得极具挑战性。

ConnectedLife的高分辨率动作和生物医学数据能提供客观的症状监测，并通过Ocean Protocol与医疗专业人士分享，能帮助其对不同患者进行个性化治疗，确保患者处于最佳的治疗范围内，防止不必要的症状波动及副作用，从而大幅改善他们的生活质量。除此之外，机器学习被用以促进早期诊断的技术发展。

“我们热衷于采用人工智能来解决医疗保健应用的重大挑战。然而，由于担忧数据信息的控制范围、隐私和安全性，这些健康数据往往被锁定且不被分享。如果能除去这些障碍，就可以帮助数十亿的慢性病患者 - 通过人工智能预防、早期诊断和个性化治疗来改善患者的治疗效果，提高生活质量。”ConnectedLife首席医疗官Franz MJ Pfister博士说道。

“Ocean Protocol 能使算法和模型通往数据、接受训练，然后在不暴露或复制数据的情况下离开，从而在保护隐私和确保合规的同时，释放数据的潜力，”Ocean Protocol联合创始人Trent McConaghy说道。“通过获得大量数据，人工智能模型的准确性便能大幅提升，由此来解决如通过早期诊断来降低慢性疾病的患病率等的现实问题。Ocean Protocol很荣幸能与Connectedlife合作，来一起实现这一目标。”

关于ConnectedLife

ConnectedLife（健康）是一家医疗保健人工智能公司，其总部位于新加坡，在德国慕尼黑市中心设有一支研发团队。ConnectedLife采用医疗级的物联网传感器和尖端深度学习技术，以促进慢性疾病（帕金森病、慢性心力衰竭或骨科疾病等）的早期诊断和监测。

访问connectedlife.io以了解更多信息。

关于Ocean Protocol

Ocean Protocol 是一个去中心化的数据交换协议，用于解锁人工智能数据。通过区块链技术，Ocean Protocol 连接数据提供者和消费者，在保证为所有利益相关者提供数据追溯性、透明度和信任的前提下，达到数据共享。它能让数据所有者为他们的数据资产赋予价值以及控制该数据，而不会被锁定到任何单一市场。通过结合去中心化区块链技术、数据共享框架以及数据和相关服务的一个生态系统，Ocean Protocol 致力于开展一个新的数据经济，它将触及每个人、企业和设备，并且把权力交还给数据所有者，让人们可以从数据中获取价值，从而改善我们的世界。

访问 oceanprotocol.com以了解更多信息。