腾讯tidb是自研的吗

Posted 2023-05-16

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了腾讯tidb是自研的吗相关的知识，希望对你有一定的参考价值。

参考技术A

不是的。

最开始，我们调研了开源的分布式NewSQL方案：TIDB。虽然TIDB是非常优秀的NewSQL产品，但是对于我们的业务场景来说，TIDB并不是非常适合，原因如下：

需要一款高吞吐，低延迟的数据库解决方案，但是TIDB由于要满足事务，2pc方案天然无法满足低延迟（100ms以内的99rt，甚至50ms内的99rt）

多数业务，并不真正需要分布式事务，或者说可以通过其他补偿机制，绕过分布式事务。这是由于业务场景决定的。

TIDB三副本的存储空间成本相对比较高。

内部一些离线数据导入在线系统的场景，不能直接和TIDB打通。

基于以上原因，我们开启了自研符合自己业务需求的NewSQL之路。

参考技术B

腾讯tidb不是自研的，都从腾讯云下架了。

机器学习框架：开源的好，还是自研的香？

如今，机器学习在图像识别、多媒体创作、自然语言处理、搜索广告推荐等领域都有着广泛的应用和不俗的表现。

面对日益繁杂的应用场景，机器学习框架有助于节省编写大量底层代码的精力，也能省去部署和适配环境的烦恼，更聚焦业务场景和模型设计本身，因而被越来越多的行业接受。

全世界最为流行的深度学习框架有Tensorflow、PyTorch、Caffe、Theano、MXNet、Torch、PaddlePaddle等，这些开源框架均表现出色，且各有各的优势和特色。随着深度学习技术的普及，各家框架的成熟化，深度学习技术的门槛会越来越低。

但对于像小红书这样业务发展迅速的产品而言，双列场景和以UGC内容分发为主的特点，对系统的高时效性和稀疏内容表达提出了更高的要求，数据的处理挑战与日俱增。因此，开发符合自身业务需求的机器学习框架往往是更好的选择。

与此同时，在机器学习框架的实际应用中也诞生了许多共性的问题：

✦ 掌握一个深度学习框架，开发者需要做哪些准备？

✦ 深度学习框架能“包治百病”吗？是否适用于所有应用场景需求？

✦ 如何充分利用CPU、GPU的硬件能力提升机器学习效果？

✦ 国内的深度学习框架有哪些不同于欧美国家主流深度学习开发框架的特点和创新？

就在10月19日19：00，小红书技术REDtech邀请到了国内的深度学习框架初创公司One Flow的创始人袁进辉，与小红书智能分发部负责人瑞格带来新一期【REDtech 来了】技术直播。他们将围绕机器学习框架在工业界实际应用的挑战与前景展开精彩分享。

袁进辉

2008年于清华大学计算机系获得工学博士学位（优秀博士学位论文奖），2008~2011年在清华大学计算机系从事计算神经科学方面的博士后研究，原微软亚洲研究院主管研究员。于2017年创立北京一流科技有限公司，致力于打造新一代深度学习框架OneFlow。目前，他还兼任之江实验室天枢开源开放平台架构师，北京智源人工智能研究院大模型技术委员会委员。

瑞格

小红书智能分发部负责人，在小红书搭建了支持超大规模参数的在线学习训练框架，支持搜广推个性化模型学习，通过前沿算法的不断探索显著提升了分发效果。曾在百度凤巢从事超大规模分布式训练算法研究，实践了如万亿特征LR、GBDT、大规模稀疏离散DNN等模型工业界应用，并在工业界广泛应用。在百度研发了适用于搜索广告相关性问题的半监督学习算法，显著提升了广告相关性。

✦✦ 详细日程 ✦✦