一步步开发AI运动小程序五帧图像人体识别

Posted Alphaair

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了一步步开发AI运动小程序五帧图像人体识别相关的知识，希望对你有一定的参考价值。

随着人工智能技术的不断发展，阿里体育等IT大厂，推出的“乐动力”、“天天跳绳”AI运动APP，让云上运动会、线上运动会、健身打卡、AI体育指导等概念空前火热。那么，能否将这些在APP成功应用的场景搬上小程序，分享这些概念的红利呢？本系列文章就带您一步一步从零开始开发一个AI运动小程序，本系列文章将使用“云智AI运动识别小程序插件”，请先行在微信服务市场或官网了解详情。

一、初始化人体识别功能

人体识别能力调用前需要初始化（可多次初始化），插件的具有双人体识别引擎，默认不指定引擎将自动选择最优引擎，也可指定引擎，识别引擎的差别请参考集成文档。

const that = this;
humanDetection.initialize(
	//ve: 2,
	callback(err) 
		uni.hideLoading();

		if (!err) 
			console.log(\'人体检测能力初始化成功。\', humanDetection.getVe());
			return;
		

		uni.showModal(
			content: `初始化失败，详细信息：$err.message`,
			showCancel: false
		);
	
);

二、调用人体识别功能

//接上篇抽帧
const context = wx.createCameraContext();
const listener = context.onCameraFrame((frame) => 
	//frame.data图像数组将用于后续的人体识别
	const iamge = 
		width: Number(frame.width),
		height: Number(frame.height),
		rawData: frame.data
	;
	humanDetection.detectionAsync(image).then(human=>
		console.log(human);
	);
);
listener.start();

三、人体识别结果


  "score": 0.7251838252824896,
  "width": 480,
  "height": 640,
  "timestamp": 1684325583506,
  "keypoints": [
    
      "y": 103.56424502483996,
      "x": 256.0109768927012,
      "score": 0.4570312798023224,
      "name": "nose"
    ,
    
      "y": 90.71574411931093,
      "x": 270.50707531981544,
      "score": 0.58251953125,
      "name": "left_eye"
    ,
    
      "y": 90.09307140499885,
      "x": 244.60145098668588,
      "score": 0.552734375,
      "name": "right_eye"
    ,
    
      "y": 95.37442872749463,
      "x": 286.88540601464354,
      "score": 0.75244140625,
      "name": "left_ear"
    ,
    
      "y": 93.90985185987653,
      "x": 231.85045311881774,
      "score": 0.7392578125,
      "name": "right_ear"
    ,
    
      "y": 162.78484030178413,
      "x": 311.0556351088547,
      "score": 0.919921875,
      "name": "left_shoulder"
    ,
    
      "y": 161.2381417518693,
      "x": 203.38841526521654,
      "score": 0.77197265625,
      "name": "right_shoulder"
    ,
    
      "y": 240.78316880186404,
      "x": 310.24842737472574,
      "score": 0.84912109375,
      "name": "left_elbow"
    ,
    
      "y": 242.12329664294745,
      "x": 201.77353663841666,
      "score": 0.833984375,
      "name": "right_elbow"
    ,
    
      "y": 281.9979693520591,
      "x": 352.673287407275,
      "score": 0.59765625,
      "name": "left_wrist"
    ,
    
      "y": 286.2878520237733,
      "x": 173.8384814716242,
      "score": 0.63427734375,
      "name": "right_wrist"
    ,
    
      "y": 307.2371714929637,
      "x": 273.4654390815558,
      "score": 0.82177734375,
      "name": "left_hip"
    ,
    
      "y": 305.7596342955926,
      "x": 222.0470940485152,
      "score": 0.84912109375,
      "name": "right_hip"
    ,
    
      "y": 417.72422545441424,
      "x": 267.0201893540119,
      "score": 0.6103515625,
      "name": "left_knee"
    ,
    
      "y": 414.7774591985668,
      "x": 204.46947287192143,
      "score": 0.8701171875,
      "name": "right_knee"
    ,
    
      "y": 481.8868752974563,
      "x": 280.1792094531294,
      "score": 0.74072265625,
      "name": "left_ankle"
    ,
    
      "y": 467.38751675509405,
      "x": 247.29222232381437,
      "score": 0.7451171875,
      "name": "right_ankle"
    
  ],
  "bodyRange": 
    "x": 173.8384814716242,
    "y": 90.09307140499885,
    "width": 178.8348059356508,
    "height": 391.79380389245745

四、识别结果旋转矫正

获得人体识别结果后，可以调用rotate()进行整体旋转，也可以调用rotateToUpright()自动旋转直立图，进行横、竖屏适配。

下一篇将为您介绍人体骨骼图绘制...

AI公司Recursion：引领图像识别药物开发新潮流

Recursion制药是一家临床阶段的AI生物技术公司（ Nasdaq：RXRX ），成立于 2013 年。 公司采用最先进的视觉和图像算法进行细胞图像识别，给药物开发和临床应用提供了崭新的技术工具和思考角度。

一
公司的技术特色

Recursion不同于传统的基于结构或基于配体的药物发现公司，它以细胞图像为最主要的数据集。首先，在实验室里通过各种方式使人体细胞生病，拍摄这些生病的细胞；然后，让机器学习程序来学习这些生病细胞与健康细胞的区别；最后，将各种药物作用于患病细胞，通过机器学习程序来判断细胞是否回归健康状态，从而判断药物的作用效果。

之所以选择图像数据，有两个关键的原因：一是与其它高维数据集（如转录组学或蛋白组学数据）相比，图像的单位数据密度要高2-4个数量级；二是在过去的十年间，神经网络技术在计算机视觉和图像处理领域取得了最大的进步。所以，Recursion充分利用这些进展创建了专门的基于图像的药物发现算法。

等于说，Recursion拥有自行开发数据的能力，数据集的质量也可以与自身算法的要求相匹配。目前公司的自动化实验室机器人每周可以进行150万次实验，新的图像数据不断产生，机器算法迭代进步，两者相辅相成，提高管线的输出效率。而绝大部分的AI药物发现公司只能通过组合现有的数据集来寻找药物，可能会因为现有数据集的数据分散、标注杂乱等原因而影响程序的学习。

图 1  机器学习算法可以检测人眼无法区分的细胞表型（来源：公司招股说明书）

自2020年中期起，公司的搜索算法开始从“蛮力搜索”方法过渡到效率更高的“推论搜索”方法，将之前需 1000 年左右才能完成的数据检索量缩短至了几个月内。 不满足于算法上的领先， Recursion更是雄心勃勃想把完整的药物发现和开发过程全部拿下，所以近年来加快了技术引进，将 生物学 、 化学 、 自动化 、 数据科学和工程 等 领域 的创新技术在公司内部 整合 ，以 实现药物发现和开发的全面现代化。 公司的重要技术构成包括：

  • 生物学技术：如使用CRISPR基因编辑技术针对人类基因组中每个基因缺陷进行建模；可以通过组合多个可溶性因子对多种免疫相关疾病进行建模；开发了通过生物病原体诱导传染病的模型方法。

  • 化学技术：通过收集临床前或进入临床的数据，形成拥有6000多种化合物，涵盖约2500种分子作用机制的已知化学结构库（KCE）；包含超20万种化学结构的用于产生新化学结构（NCE）的小分子起点库。

  • 细胞培养技术：先进的细胞培养设施能够持续产生高质量的哺乳动物细胞用于实验验证。大型一次性生物反应器每次能够产生一百亿个正常人细胞。

  • 实验机器人：高度模块化、可扩展的自动化实验室机器人每周进行多达150万次实验，每年持续50周。自2017年以来，每年的数据输出至少翻一番。

  • 数据获取技术：拥有17台高通量显微镜，每小时可获得超过99,000个荧光显微镜图像；2020年引入首台测序系统，形成了快速增长的转录组数据流。

二
公司的研发管线
公司目前有 37 个正在开展的项目，大多处于早期阶段。其中4个进入临床阶段的药物，是公司通过AI算法发现的已知化合物的新用途，赋予了它们新的临床开发价值。
1、 REC-4881用于治疗家族性腺瘤息肉症（Familial Adenomatous Polyposis ）

家族性腺瘤息肉症（FAP）是一种罕见的肿瘤综合征，由肿瘤抑制基因APC的常染色体显性失活突变引起。目前没有获批准的治疗方法。

Recursion在2020年5月从武田制药公司获得了REC-4881的全球许可。

REC-4881原本是MEK1和MEK2的非ATP竞争性的小分子别构抑制剂。通过蛮力搜索方法，在敲低APC基因的人源细胞中发现了它在FAP的新用途。据推测，REC-4881可能是通过抑制FAP腺瘤中异常的MAPK信号传导而使肿瘤消退或减慢其生长。

FAP有4种治疗方法处于临床开发中:

Cancer Prevention Pharmaceuticals进展最快，已经于2020年6月向FDA提交了二氟甲基鸟氨酸和舒林酸联合用药治疗FAP的NDA。

S.L.A. Pharma AG公司在进行游离脂肪酸二十碳五烯酸的3期试验，据推测可能通过抑制花生四烯酸氧化活性而减少息肉的形成。

Cancer Insight公司进行关于雷帕霉素的2期试验，据推测可通过对mTOR通路的抑制作用来减少肿瘤的形成。

杨森制药在进行古塞库单抗的1期试验，它是阻断白介素-23(IL-23)作用的人源化单克隆抗体，推测可减少细胞因子的产生，减少炎症和肿瘤息肉的发生。

从进度上看，REC-4881并没有优势。但是，临床前的数据显示它在预防良性息肉和高级别腺瘤的生长方面均具有效果。这使得它有别于其他几项研究。

AI公司Recursion：引领图像识别药物开发新潮流

图 2  REC-4881与竞争性临床试验（来源：招股说明书、Clinicaltrials.gov，丰硕创投整理）

2、REC-3599用于治疗GM2神经节苷脂沉积症（GM2 Gangliosidosis）

GM2是一种罕见的常染色体隐性遗传病，该疾病是由于编码溶酶体β-己糖胺酶的亚基的HexA或HexB基因突变，引起β-己糖胺酶功能丧失，导致过量GM2神经节苷脂沉积于脑及周围脏器。目前没有获批准的疾病治疗方法。

REC-3599的前身为礼来公司的Ruboxistaurin，2015年，礼来公司将Ruboxistaurin的权利转让给Chromaderm公司，而Recursion于2019年12月从Chromaderm公司处获得了全球开发许可，开发成REC-3599。

REC-3599是口服的具有CNS渗透性的PKC-β小分子抑制剂，同时也显示对GSK3β的抑制活性。通过蛮力搜索方法，在敲除了致病基因HexB的人源细胞中发现了它在GM2的新用途。据推测，REC-3599在GM2细胞模型中显示的活性可能来自于抑制GSK3ß调节溶酶体生成和抑制PKCβ刺激细胞自噬的双重作用。

正在进行的有关GM2的临床试验项目有四项:

Taysha Gene Therapies和Sio Gene Therapies这两家公司正在开发基于AAV的基因疗法，以通过基因传递来恢复功能性β-己糖胺酶，目前均处于1期研究中。

Genzyme（赛诺菲旗下）正在开发小分子Venglustat，其可减少GM2和其他溶酶体贮积病中的底物积累。目前在进行针对晚期GM2患者的3期临床试验。

IntraBio公司正在开发N-乙酰基-L-亮氨酸作为可口服生物利用的氨基酸酯，目前处于临床2期阶段。

从进度上看，REC-3599没有优势，而且最具有治疗潜力的，一般会倾向基因治疗。所以，REC-3599的前景不算理想。

AI公司Recursion：引领图像识别药物开发新潮流

图 3  REC-3599与竞争性临床试验（来源：招股说明书、Clinicaltrials.gov，丰硕创投整理）

3、REC-2282用于治疗2型神经纤维瘤病（Neurofibromatosis Type 2）

2型神经纤维瘤病（NF2）是常染色体显性遗传罕见的肿瘤综合征，由NF2肿瘤抑制基因的突变导致细胞信号调节蛋白Merlin缺失，导致多种信号通路激活，尤其是PI3K/AKT/mTOR通路。

Recursion于2018年12月从俄亥俄州立创新基金会获得了REC-2282的全球许可。

REC-2282是一种可口服的、可中枢神经渗透的HDAC抑制剂。通过蛮力搜索方法，在敲低NF2基因的人源细胞中发现了它的新用途。早期的1期药效学试验结果显示，REC-2282可以抑制ERK，AKT和S6通路的异常激活。

目前针对NF2有三个临床项目正在进行:

武田制药的ALK抑制剂Brigatinib在开展针对脑膜瘤，前庭神经鞘瘤和室管膜瘤的2期临床试验。其已经于2017年被FDA批准治疗非小细胞肺癌。

阿斯利康的MEK抑制剂Selumetinib正在针对NF2相关肿瘤的开展2期试验。其已经于2020年4月被FDA批准治疗NF1，且被认定孤儿药资格。

Vivace Therapeutics正在开展VT3989治疗NF2基因突变的转移性实体瘤患者的1期临床试验。

REC-2282表现出对肿瘤中多个异常活跃途径的抑制，可能会具有单途径抑制剂所没有的优势。

AI公司Recursion：引领图像识别药物开发新潮流

图 4  REC-2282与竞争性临床试验（来源：招股说明书、Clinicaltrials.gov，丰硕创投整理）

4、REC-994用于治疗脑海绵状畸形（Cerebral Cavernous Malformation）

脑海绵状畸形（CCM）是一种临床常见的颅内血管畸形疾病，由涉及内皮功能的三个基因（CCM1，CCM2或CCM3）突变引起。CCM通常会导致进行性神经系统损害，并因出血性中风而导致高死亡风险。目前还没有获批准的疗法。

Recursion于2016年2月从犹他大学获得了REC-994的全球授权。

REC-994是一种小分子超氧化物清除剂，是通过蛮力搜索方法，在敲低CCM基因的人源细胞中发现了它的新用途。从机理上讲，它可通过减少内皮超氧化物和抗炎作用来逆转或减少该疾病的发生。

通过检索发现，TEC-994的1期临床研究是唯一由公司发起的项目，其余两个分别为马里奥内格里药理研究所和芝加哥大学发起的关于评估普萘洛尔和阿托伐他汀的效果。所以，若获得批准，REC-994有望成为CCM的首个治疗药物。

AI公司Recursion：引领图像识别药物开发新潮流

图 5  REC-994与竞争性临床试验（来源：招股说明书、Clinicaltrials.gov，丰硕创投整理）

三
公司的财务状况
Recursion目前还未实现盈利， 从成立到2021年3月31日， 公司 已经筹集约4.489亿美元的股权融资 和 拜耳提供 的 3000万美元的预付款。 累计亏损2.443亿美元，拥有现金和现金等价物为2.1 4 1亿美元。

2021年第一季度，公司研发费用支出0.241亿美元，同比去年增加了87.7%。

根据公司的发展计划，预计未来会在以下几个方面持续增加投入：

  1. 增加对高通量测序的投资，以快速增加组学类数据量；

  2. 积极采购患者细胞（目前已有65种疾病的近400种个体细胞），将它们重编辑为诱导性多能干细胞并储存，用于下游验证实验。计划在未来18个月将此数量扩大一个数量级；

  3. 通过建设实验室自动化合成系统，在未来几年中大幅增加新化学结构实体（NCE）库的规模和多样性，目标是达到甚至超过一般大型制药公司的化合物库（约140万-400万种化合物）水平。

  4. 平台上筛选的实验数量不断增加以及临床阶段产品的开发，目前4个处于临床1期的产品预计在后面四~五个季度左右开展临床2期试验。

四
公司的发展潜力
Recursion公司最核心的竞争力是通过自己的实验室产生了巨量的细胞图像数据，在细胞实验和AI分析结果这块做到了系统化和自动化。目前，实验机器人每周做 150 万次实验，每年连续工作 50 周，预计一年后这个数据量还能翻倍。数据的增长促进机器视觉算法的进步，两者可以形成飞轮效应，有望加速后续结果产出，甚至可能给我们带来关于适应症与通路、靶标间新的生物学认知。

相比于其他AI药物研发公司，Recursion是一家更加“重资产”的公司，未来它在建立小分子结构实体库、购买细胞、建设高通量测序等许多方面都会投入大量资金，打造拥有从靶标发现、药物发现到临床推进的全产业链开发能力的公司。虽然目前公司的管线还不够成熟，但是一旦平台搭建完成，公司的模式将拥有极强的迁移能力，不仅适合小分子药的开发，还适合各种生物制品的开发。

不过眼下，我们也要认识到公司的产品线估计在未来3-4年都不会产生收入，即使针对罕见病的临床药品上市，也不足以支撑公司的研发支出。但是，创新就是走一条没有人走过的路，Recursion在努力证明自己，我们在等待时间的玫瑰芬芳。


声明：以上内容仅供参考，不构成投资建议。



文末正事

2. 点击右上角…，在弹出页面点击“设为星标”

读者讨论群

我们建立读者实名分享讨论群，添加小编微信mocanlong，邀请入群请主动备注姓名、企业和职位。

丰硕创投

丰硕创投成立于2019年，专注于大健康领域的投资。丰硕创投是一家以基本面研究为基础的创投，注重公司长期发展价值的挖掘。通过多维度的认知和不断自我进化构建完整的投资体系。我们有受托人基因，对资本市场有敬畏之心，把风险控制放在首位，用狙击式打法和专业的视野持续为投资人创造价值。


以上是关于一步步开发AI运动小程序五帧图像人体识别的主要内容，如果未能解决你的问题，请参考以下文章

一步步开发AI运动小程序八利用body-calc进行姿态识别

一步步开发AI运动小程序三运动识别处理流程

一步步开发AI运动小程序一准备工作

一步步开发AI运动小程序七进行运动计时计数

一步步开发AI运动小程序九姿态辅助调试桌面工具折使用

ai运动怎么接入到小程序