老婆在我车里，发现了一只口红...

Posted 2022-12-21 微笑很纯洁

要不是我早有准备，这次可...

1

如何送礼物？

大家好，我是微笑。

这两天有一件事，着实让我头疼，而且这个事情每年都会来一次，我给它起了一个名字叫做：年发生日综合症。

估计我很多老读者，也都有这个症状，说人话就是，每年过生日怎么给老婆送礼物？

经过我多年的实践，发现有一个礼物百送不厌，那就是口红，但是怎么选择适合的口红却是一个难题。

通过之前对老婆买口红的观察，得出选口红的最关键的因素是，找到口红和肤色之间的关系，即什么样的肤色适合什么色系的口红。

对于程序员直男来说，最高效便捷的方式是，能够把口红颜色和肤色信息从试色视频中挨个提取出来，找到肤色相近的人都在用什么样的口红。

就可以让大数据帮忙做购买决策，以找到最合适的口红颜色。

从头开始搭建可太麻烦了，我得找一个支持用图片搜图片，图片搜视频的神器，最好使用起来还很简单。

经过我一番好找，终于找到这个神器 Jina，不需要掌握大量的专业知识和编程技能，这个框架为你提供好了实现复杂模型的简单方式，直接拿来用就行了。

2

 多模态 MLOps 框架 Jina

要实现这个想法，其中最关键的条件之一就是以图搜图，读取图片/视频中的口红信息，找出最佳的口红颜色和产品。

作为程序员们，大家应该都了解，我们身边 80%~90% 的数据，都属于非结构化数据。

像图片、视频、音频、PDF 等等，目前解决非结构数据的搜索，一般都要使用深度学习模型来完成。

我查了很多资料，目前市面上解决方案有一些，但其中比较容易上手、功能强大又齐全的好像就只有 Jina 了。

用 Jina 几乎可以搜索任何内容形式（例如文本，图像，视频，音频，3D 模型等等）。

简单来讲，Jina 是一款主打易用性的多模态 MLOps 框架，将深度学习和向量索引结合起来，提供了全链路的解决方案，哪怕不懂 AI，用 Jina 也可以快速地构建和部署多模态应用。

在找解决方案时，发现他们官方公众号提供了很多案例，包括[用文字搜索视频]，[90行代码用声音生成图片]等等，最重要的其中还有一个[口红搜索引擎]，可以沿用部分思路，对解决问题起了很大的帮助。

大家如果感兴趣，也可以关注 Jina AI 后阅读。

接下来就和大家聊聊，（程序员直男的）我是怎么使用 Jina 全家桶，来一键解决给老婆选口红的事情。

3

果然很酷

首先使用 Jina 全家桶中提供的 DocArray 设计原型。

DocArray 能够将非结构化数据，统一成同一种数据结构，就是我们用的图片、视频都可以放进去，而且处理、传输、存储和搜索的工具都已经封装好了，开发起来很爽。

使用了 CLIP as service 做为向量服务，来处理相关的图片分类信息。

然后通过 Jina 把算法的每一步，分别拆解到一个个 Executor 执行器之中；再使用 Flow 将多个 Executor 串联起来。

这里稍微解释一下：

Executor 对应 Jina 的算法单元，实现对数据处理的核心功能。

Flow 将多个 Executor 连接起来，构建成一套完整的搜索系统。

用 Jina 搭建这一套以图搜图的口红搜索大概花了我两天，但根据我以往的经验，模型的调优往往要花我 1-2 周甚至更长时间。

但如果你使用的是 Jina ，那就完全不用太担心这个问题了，因为 Jina 全家桶还提供了一个工具 Finetuner。

利用 Finetuner，只需一行代码，即可解决模型调优问题，提升预训练模型的性能，节省我们大量的时间。

最后实现的效果，就是下图这个样子了。

只需要上传一张包含老婆的全脸的照片，系统就会自动帮你检索查询出，最适合的口红产品出来。

是不是感觉很酷呀。

Jina AI 官方有一份 Demo 完成后的体验地址，想体验效果的朋友，可以关注下方公众号后回复：口红

4

全家桶

经过上面使用案例，大家估计对 Jina 有了一点了解，接下来我给大家详细介绍一下，案例中使用的几个开源产品。

Jina 是搭建多模态、跨模态应用的 MLOps 框架，将深度学习和向量索引结合起来，提供了全链路的解决方案。

开源地址：https://github.com/jina-ai/jina (16.9K Star)

DocArray 能够将非结构化数据，统一成同一种数据结构，可以让多模态的数据存储、流转难题迎刃而解！

作为生态位的最底层，DocArray 可以高效地处理、检索、推荐、存储及传输数据，非常便于大型项目的构建。

开源地址：https://github.com/docarray/docarray (1.5K Star)

如果涉及到文本和图片的处理，可以直接用 CLIP-as-service 做为向量服务。

开源地址：https://github.com/jina-ai/clip-as-service (11.1K Star)

最后如果要对系统进行调优，使用工具 Finetuner 就对了。

Finetuner 针对神经搜索的模型微调工具，封装了不同深度学习框架的模型、损失函数和训练过程。

让开发者只需要进行简单的操作，即可一步完成模型调优，大大节省了研发时间。

开源地址：https://github.com/jina-ai/finetuner (759 Star)

目前，Jina 已经在[开放智能问答]、[电商服装搜索]、[实时推荐系统]、[生成式 AI] 等多个领域有使用案例。

在未来，相信还会覆盖更多的场景。

5

最后

机器学习这个领域的发展实在是太快了，应用场景也越来深入，在快速发展的同时，也更深入到具体的使用场景中。

Jina 2020年发布，到现在 Github 上已经有 36K 关注量，可见其在行业影响力。

为什么 Jina 如此受欢迎？

一方面，可以让用户在短短几分钟内，创建一个由深度学习驱动的云原生搜索解决方案。

另一方面，Jina 有着超低的学习、使用门槛，几乎只要会 Python 就会用 Jina，上手贼快。

在我使用 Jina 的过程中，感觉 Jina 应用场景很多。

比如构建企业内部的 PDF 搜索系统，比如实现视频搜索，有时候在网上看到一段小视频，特别感兴趣却不知道来自哪部电影，有点干着急。

针对这样的需求场景，使用 Jina 全家桶的工具，可以非常容易实现（解决）这个问题。

我一直特别佩服这种纯粹做技术的公司。

一方面，技术人做技术创业本来就很少，而且技术的产品也会反哺到技术生态中。

另外一方面，他们做的事情真的很酷，又很有意义，大大降低了多模态应用的开发和使用门槛，更加速了包括神经搜索、生成式AI的多模态应用快速发展。

同时，技术人创业也是孤独的，特别是做开源项目，有时候需要我们程序员给予一点点的支持。

所以，推荐大家关注以下几个开源项目，因为关注也是对他们的一种支持，同时也扩展了我们的技术视野。

欢迎点亮Jina AI的repo！支持开源项目！

https://github.com/jina-ai

(复制链接至浏览器中打开，即可star)

后话：

媳妇看了我选礼物的方式，直言这选礼物的过程比礼物本身要高级太多了，虽然她看不懂.........(#^.^#)

也就这才能够是程序员独有的浪漫吧！

对了，对了， Jina 官方最近就有一个直播，大家如果对这些技术感兴趣，可以预约去交流一下。

点击“阅读原文”直达Jina官网