面对开发平台数据工具链和需求等信息不对称,AI 开发者如何进行破局?...
Posted CSDN资讯
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了面对开发平台数据工具链和需求等信息不对称,AI 开发者如何进行破局?...相关的知识,希望对你有一定的参考价值。
AI 在社会发展进程中扮演着日益重要的角色。全球最具权威的 IT 研究与顾问咨询公司 Gartner(高德纳)对 AI 的未来发展给出了自己的预测,Gartner 首席分析师 Afraz Jaffri 表示:“人工智能创新有望带来巨大的、甚至变革性的收益……应该特别关注预计将在 2-5 年内成为主流的创新类别,包括复合人工智能(composite AI)、决策智能(decision intelligence)和边缘人工智能(edge AI)。尽早采用这些创新技术可以带来显著的竞争优势和商业价值,并缓解人工智能模型的脆弱性问题。”开发者社区 CSDN 的 3000 万注册开发者中,689 万开发者阅读、撰写与研究 AI 技术,其中精准聚焦 AI 学习及应用的开发者人数达到了 154 万。如这些行业人士所熟知,AI 领域仍有诸多困扰着开发者的痛点亟待解决。
从技术到商业,阻碍 AI 发展的痛点突破遭遇瓶颈?
随着技术水平的不断发展,AI 展现出了自身丰富的可塑性。而塑造这一创新艺术的设计师——AI 开发者,在面对开发平台、数据、工具链、生态支持和收益循环信息不对称的情况下,无法更好的施展自身的技术能力。
根据 Gartner 人工智能创新技术成熟度曲线反映了以下四个概念互补的人工智能类别:
以数据为中心的人工智能(Data-centric AI);以模型为中心的人工智能(Model-centric AI);以应用为中心的人工智能(Applications-centric AI);以人为本的人工智能(Human-centric AI)。
“数据、模型、应用、人”是人工智能技术的核心要素,也都面临亟待解决的困境。以数据为例,越是高质量的、具有核心竞争力的数据,就越容易涉及敏感信息的隐私安全问题,也越是需要保护的资产,造成数据共享使用的诸多障碍。而 AI 的发展离不开高质量数据,对于初创公司而言,获取客户信任,得到客户业务数据是一项非常艰难的任务。另外,标记数据通常十分珍贵,甚至大部分时候是缺失的,这也导致了他们在研发数据驱动型产品的道路上增添了阻碍。另一种现象是数据激增,产生大量的半结构化数据和非结构化数据。数据标注工作量太过复杂,海量的数据标注需要投入大量时间和精力,但现实是 AI 开发者不得不花时间去进行数据加工处理。
在模型方面,随着模型的不断演化,对模型的攻击、盗用等事件频频发生,AI 开发者面临着算法模型在对外调用及优化过程中的泄露风险;其次是技术和开发工具门槛高,对于个人、高校等 AI 开发者或者是部分初创公司在前期投入资金不足、信息闭塞的情况下无法对接到最正确的技术方向和甄别性价比高的开发工具。对 AI 来说,算力是重要资源,而算力资源成本高,硬件采购成本高,算力成本居高不下难以承担;最后是资源利用效率低,需求与供给的匹配需待优化,开发协助沟通不畅,开发涉及多角色协同,沟通不畅会极大地影响效率。
在 AI 的供需对接方面,需求方的发现和对接对于大部分 AI 开发者而言是有困难的。专注于技术层面的开发者在与 AI 需求者交流过程中无法捕捉到用户切实的需求,或者在需求筛选的过程中需要消耗大量的精力,这对于 AI 开发者而言是低性价比的消耗。
如何帮助 AI 行业,实现更高性价比的精力分配,让 AI 数据相关的挑战得以缓解,让 AI 公司更高效地对接市场,让 AI 公司接触真实需求而非技术谈兵。
破开困境的亚历山大之剑
为了更好地解决 AI 发展的一些困境,翼方健数近日正式宣布上线隐私安全计算护航的 AI 服务平台——揽睿星舟。平台运用隐私安全计算技术,在保护数据和算法安全的前提下,汇聚行业及公共数据集,集约算力部署,集成包括软硬件在内的最新 AI 技术,提供全流程一站式服务。揽睿星舟用数据、算力、资金、技术和运营能力加速 AI 发展,赋能长尾的 AI 应用场景,充分实现人工智能供需之间的高质量对接。揽睿星舟这个项目源自于翼方健数在隐私安全计算在市场上与 AI 行业的痛点碰撞,结合了来自 AI 与数据协作过程中的安全保护案例、AI 供应商技术遴选案例、AI 招投标及比赛案例,能够满足基于需求与技术融合推动的一系列 AI 场景需求。
在发布会上,翼方健数首席科学家张霖涛博士针对 AI 生态的不同角色和痛点视角,介绍了揽睿星舟 AI 服务平台提供的针对性解决方案。尤其针对 AI 开发者,平台提供端到端 AI 全生命周期开发工具。平台 AI 应用商城内汇聚丰富的 AI 工具链与预训练模型,形成从数据处理到算法开发和部署的服务闭环。包括数据标注、juypter lab、vscode、模型管理、模型推理、主流机器学习框架、镜像管理等,包括开箱即用的 AI-Ops 全流程工具供开发者使用。为了让 AI 开发者与技术服务商能够在平台内使用到称手的工具,应用商城除了集成自研的工具更引入了来自生态合作伙伴的优质工具。
作为云计算厂商的战略合作伙伴,平台为 AI 开发者提供高性价比的多种云服务器,AI 开发者可以通过登录平台,创建工作空间实例,环境内可直接调度所希望配置的云算力资源并直接调用。同时,也支持直接连接指定的 GIT 仓库,通过对象存储接口导入平台内,导入后直接挂载高效文件系统,使用算力。
对于 AI 开发者至关重要的数据集资源,揽睿星舟平台内配置了丰富的数据市场,集成海内外公开数据集、翼方健数 IoDC 网络内节点数据、企业自有一方数据。数据种类涉及营销、金融、医疗、生信、政务等各个行业。用户在平台申请并获得数据授权后,可一键将数据集纳入训练任务或工作空间中。
作为加载了隐私安全计算技术的 AI 服务平台,在隐私安全保护方面,平台帮助 AI 协作生态中不同角色实现数据、模型、计算结果的多向保护,例如数据提供商能够将全量数据集分割为若干样本数据(可见区)与实际数据集(保护区/不可见区),并分别存放至可见区与不可见区。在黑盒环境内,开发者提供的模型与数据提供商提供的真实数据双方均不可见,但可通过授权互相使用。导出环境环节,AI 开发者若需要参数调试(fine-tuning)在获得数据提供商授权后才可通过系统日志进行“数据可用不可见”模型调参,同样,在打包输出项目资源时,只有在数据所有者授权的情况下才能下载模型,从而保障了数据及模型的安全和隐私性,打破双方合作的信任壁垒。
AI 企业发展的土壤:实现商业供需撮合的“技术平台”
AI 开发者或者 AI 初创公司在商务对接上大多面临三种难题,首先是难以找到匹配的商业机会,其次是有 AI 需求的企业客户通常不信任初创企业,不愿意直接提供数据进行训练,最后,早期的AI初创团队通常营销资源匮乏,没有大规模营销团队拓展销售商机。
揽睿星舟平台的负责人张霖涛此前担任前微软亚洲研究院首席研究员,全球合伙人,系国际电气和电子工程师学会院士(IEEE Fellow)及 ACM 计算机领域的杰出会员(ACM Distinguished Member),在 AI,大数据,计算机系统和硬件加速方面超过 20 年研究和工程经验。作为微软亚洲研究院这一“中国人工智能黄埔军校”的毕业生,他深刻理解怀揣技术梦想在 AI 领域创业的不易。有大量的 AI 初创公司创始人往往是人工智能专家,当前模式下,他们亟需懂业务、懂市场,也懂 AI 的人才。而这样的人才,凤毛麟角。
对此张霖涛表示,揽睿星舟不仅是 AI 企业发展的技术土壤,平台上还有各行业的 AI 需求方正在寻找合适的供应商和解决方案。他们有应用场景,也有相关的数据。揽睿星舟促成需求方方及 AI 开发者、数据方和模型方互补合作,形成双赢局面。这为众多 AI 企业带来了新的解决方案。
揽睿星舟 AI 服务平台内支持提供生态合作伙伴企业自定义宣传主页进行 AI 生态内精准推广。同时,通过自有销售网络,揽睿星舟运营团队为合作伙伴提供全国甚至国际商机推荐服务,以中立的隐私安全计算能力帮助打破各方的不信任关系,平台帮助清晰梳理 AI 需求,从源头把控质量,全周期保障数据隐私与商业机密,匹配领域最佳企业和团队,协同输出专业方案,在统一的 AI 开发环境下及时知晓开发进展与作业质量,量化评测模型的效果,让 AI 需求方验收无后顾之忧。
以一家知名珠宝首饰企业为例。其作为传统制造业企业需要结合计算机视觉等技术进行产线智能质检,但是对于 AI 技术能力上投入尚少,需要寻找一个适配性高、服务成本低的 AI 供给方。该企业的需求是产品生产过程中的瑕疵检测,可以提供生产线上的检验设备和数据采集设备,需要 AI 供给方完成算法的构建和部署。该需求在揽睿星舟平台上发布后,通过揽睿星舟专业的运营团队,进行 AI 供给方的模型及能力遴选,最终匹配到最为合适的 AI 模型供给方,完美的解决了产线瑕疵检测的 AI 难题。
据悉,目前已有多家机构于揽睿星舟人工智能开放平台初步实现包括市场需求、场景对接、技术协作、数据共享等方面真正意义上的人工智能生态开放。
翼方健数作为隐私计算四小龙、作为隐私计算开源的第一梯队成员,发布揽睿星舟 AI 服务平台与生态目标也为 AI 平台提出了一个新思路,能否在 AI 领域里持续为开发者和新产业赋能,通过隐私安全计算破局开发平台、数据、工具链和需求等信息不对称以及信任缺失等诸多问题,值得期待。
以上是关于面对开发平台数据工具链和需求等信息不对称,AI 开发者如何进行破局?...的主要内容,如果未能解决你的问题,请参考以下文章
新一代推理部署工具FastDeploy,三行代码搞定模型部署!
新一代推理部署工具FastDeploy,三行代码搞定模型部署!
新一代推理部署工具FastDeploy,三行代码搞定模型部署!