AI小组2022总结

Posted 幻灰龙

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了AI小组2022总结相关的知识,希望对你有一定的参考价值。

时间如流水,2022年即将过去,也到了一年一度年终终结的时候。CSDN-AI小组在2022年在AI+之路上又有哪些积累呢?

质量分:可计算的结构质量

衡量文本的结构质量,让文本的结构质量可计算。这是质量分的核心机制。2022年开始,CSDN有了博文质量分计算。

  • 核心原理:https://blog.csdn.net/ccat/article/details/127891341?spm=1001.2014.3001.5501
  • 博文质量分查询:https://www.csdn.net/qc

博文质量分算法,迭代了4个版本。

问答机器人

在chatGPT风靡的时候,所有人都被它的强大惊叹到了。chatGPT的实用范围还有待各种不同的用户去尝试。从技术的角度上来说,chatGPT 对于绝大部分技术用户来说是一个黑盒子,但是从本质上来说它还是一个大语言模型。

实际上,CSDN-AI小组一直独立训练一个问答机器人,programmer_ada,用在问答机器人上回答用户的问题。ada问答机器人一度占领到周采纳榜单的前3名。

做问答机器人有很多难点和痛点,对于实际问题来说,它的核心还是语料的充足,匹配的准确性,这点上我们是比较务实的。我们训练了几十个不同类型的数据索引,以及引入了领域公益的开源文档数据集。

2023年我们希望进一步强化问答机器人,在解决用户实际问题的路线上提供进一步的质变。

持续进化的机器标签

把内容的标签分类做好是NLP的基础核心工作之一。2022年,我们持续改进标签分类器的准确度,保持跟进最新技术调整统一标签。所有的标签变动都是公开的: https://gitcode.net/csdn/csdn-tags/-/issues

标签保持最新是重要的,2022年确立了几个新技术的分组:

  • 云原生
  • 前沿技术
  • 开源

在更新新技术的同时,逐渐弱化和去除老的旧的标签。以及针对性的添加一些必要的功能性分类标签。机器标签是底层机制,在这些方面都有有效的运用:

  • 热榜/领域榜
  • 个性化推荐
  • 用户学习成就页,用户机器标签

实际上包含正/反两个方面的运用:

  • 识别用户的兴趣标签,推荐正向内容
  • 通过标签可以系统发现某些低质量的「机器生成」数据,批量过滤

在标签的运用上,我们逐渐摸索出一套根据标签做内容分层和分权重的机制,能有效的混排数据。我们希望好用的招数能反复深入地在多方面使用。

基于社区的AI低代码开发

我们在极客日报社区上尝试了一种低代码开发方式。核心机制是:

  • 通过大数据、算法和AI提取分类目标数据
  • 推送榜单帖子
  • 自动触达用户
  • 运营和活动结合构建社区

这种方式可以快速实验数据,自动化地出数据,同时能和用户之间建立连接。特别是能快速迭代数据的准确性这点,是非常有用的机制。

另外一种方式是,给社区增加了Ada助手频道,该频道内帮助用户做AI+数据整理。

  • 私密社区的Ada社区周报
  • 私密社区的Ada个人知识图谱
  • 公开社区的Ada社区周报

我们相信,内容的深度分类能力是CSDN平台的优势之一,基于NLP技术的深入分类能力我们可以走的更远。它的核心还是帮助技术用户获得持续的学习和成长。

实验博客/Blink的评论机器人

我们在博客和Blink上实验了Blink评论机器人。基于内容分类和意图识别,再做个性化推荐和评论。这块实验的核心也是内容分类和识别的精确性,以及个性化信息的合成能力。这个方向是对的,不过需要进一步深化大语言模型的使用。从chatGPT也可以看出来,基于AIGC的对话会是未来起重要作用的变革技术。

热榜/个性化推荐

我们在上半年基本就搞定了热榜的核心机制。就是前面提到的,使用内容标签分层权重体系来做混排。

而个性化推荐这里,我们在年末的时候开始从工程上处理个性化推荐项目。将工程梳理清楚后,再逐渐让数据驱动的部分起作用,做了一系列低质量数据的过滤。和所有的数据一样,过滤掉低质量的数据,把机会留给高质量数据。

  • 负反馈功能的修正
  • 标题党过滤
  • 软文过滤
  • 低质量分过滤
  • 垃圾数据标签过滤
  • 黑名单过滤
  • 禁言用户过滤
  • 封面违规图过滤
  • 过滤掉日均发帖过高数据

这个工作还在持续改进。会进一步结合机器学历来做个性化推荐。

结构化数据挖掘

在结构化数据上,我们也持续做了很多工作。

  • 上半年将技能树做到了20个
  • 针对常见领域做了速查手册 https://bbs.csdn.net/forums/studyvip?typeId=1621346
  • 针对统一标签做了落地页:https://bbs.csdn.net/forums/csdnnews?typeId=148427

用户画像

在用户画像这块,要刻画有用的用户画像还是存在很多困难。一个结论是,如果基于模糊的数据做推导,得到的只会是更模糊的不可用的数据。因此,用户画像本质上是在挑少数有效的数据来做划分。

我们做了机器学历的计算。希望机器学历数据能真正帮助到技术学习者获得需要的内容推荐。基于用户的半自动化标注,我们使用机器学习的方式逐渐在改进。

结合用户的内容标签,我们也计算出了用户的机器标签。请访问你的个人学习成就页:edu.csdn.net/me 基于内容标签推理的用户标签实际上是一个比较有效的方式。但是也存在一些困难,这部分也需要再有一些方式来改进。

AI数据处理

挖掘和改进全站的内容质量是NLP技术运用的一大目标。我们在全站针对不同内容做了这些工作

  • 支持文库的标题生成、摘要提取
  • 支持CSDN技术IT词库提取
  • 支持博客的高亮词库新版

通用AI+

每个产品都逐渐地在底层内置的AI能力。实际上我们在将AI能力和社区、技能树、学习、个性化推荐等在做深度的结合。2022年整体上AI组还是在内容数据处理上投入了更多时间,我们治理了很多数据分类问题,也打通了很多管道。所有这一切都为做惊艳功能准备,期待2023。

这里有更多CSDN一线研发们的2022总结博客(学习&AI)

@wmf_helloWorld 2022-CSDN的一年
https://blog.csdn.net/wmf_helloWorld/article/details/128715637

@u010280923 2022 个人工作年度总结
https://blog.csdn.net/u010280923/article/details/128724852

@zxm2015 基于SimCSE和Faiss的文本向量检索实践
https://blog.csdn.net/zxm2015/article/details/128718234

@m0_37772254 2022年个人年终总结:
https://blog.csdn.net/m0_37772254/article/details/128734719

@m0_67851397 2022 工作总结:
https://blog.csdn.net/m0_67851397/article/details/128715751

–end–

以上是关于AI小组2022总结的主要内容,如果未能解决你的问题,请参考以下文章

AI小组2022总结

NLP 实战(12): AI小组2022半年小结

NLP 实战(12): AI小组2022半年小结

人类没有足够的高质量语料给AI学了,2026年就用尽,网友:大型人类文本生成项目启动!...

2022我的年度总结-- AI遮天之路

前端智能化在淘宝的2022实践总结