NLP 实战(12): AI小组2022半年小结

Posted 幻灰龙

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了NLP 实战(12): AI小组2022半年小结相关的知识,希望对你有一定的参考价值。

AI小组半年研发分析,思考,回顾。

改进:CSDN 统一标签

标签体系是数据分类的基础之一。我们持续在统一标签上进行改进

  • 重构领域标签体系
    • 我们对标签体系应该体现技术的潮流,云原生标签体系就是一个例子。
  • 对分组标签的持续改进
    • 例如Python/Java分组的子标签正在重构中
      • 干掉老的过时的标签
      • 增加新的,重要的标签
  • 解决标签分类的内在矛盾
    • 例如某个标签t1属于A分组,也属于B分组,B分组是大类,A分组是小类,改进的策略是
      • t1精细初a-t1, t1,这样 a-t1 一定属于t1,但是t1比a-t1大
      • 此时 A分组里看到的是 a-t1,B分组里看到的是t1
      • 这样的分类更精细和准确
  • 将标签分类进一步推动到全站数据
    • 同一套内部算法和服务,但是不同领域的标签体系可以根据数据特征的不同有所区分
    • 针对文库/PUDN做了这方面的迭代
  • 好的AI系统需要大量的标注数据,没有标注怎么办?
  • 我们也做了一些小数据的标签工作
    • 对动态(blink)的非技术/技术标签的识别
    • 对社区和帖子的命名实体识别
    • 但是这两部分的数据还缺乏产品上的有效迭代

构建:CSDN 质量分

需求:Web发展到今天,一个特征是内容爆炸,已经出现”worse is better“的逆淘汰现象,也就是劣币驱逐良币。对于用户来说就是内容很多,但是找到的内容质量整体在下降。

解决:我们从衡量博文质量的角度出发,设计并实现了一套有效的博文质量评分机制。

基本原理是很简洁的,两个部分的公式就可以概括:

  • 累加优质博文特征分=权重1*优质博文特征1得分+权重2*优质博文特征2得分+…+权重N*优质博文特征N得分
  • 累乘低质博文特征因子=低质特征因子1低质特征因子2…*低质特征因子M
  • 博文质量分=累加优质博文特征分*累乘低质博文特征因子

难的地方在于实现细节和工程细节,包含:

  • 精确识别/计算某个特征的各种cornercase
  • 全量对所有数据计算
  • 算法变动后的更新机制
  • 全站数据管道对质量分的正确使用

这是一个良币趋势劣币的过程:

  • 各种榜单(极客日报-CSDN每天值得看,综合热榜,领域榜)全部使用质量分做基准过滤
  • 搜索/推荐 的数据也全量的把质量低的去掉
  • 博客创作的时候,如果质量分低,就会提醒用户质量分低会减少它曝光的几率,给用户明确的导向

很多人忙于制造各种低质量的数据,我们在重视内容数据的质量,内容数据质量的治理是一个长期的工作,这只是起了一个头。近期我们会在 CSDN指数 页面提供独立的质量分查询入口。

打造:CSDN 每天值得看(极客日报)

需求:我们希望将CSDN每天值得看的数据筛选出来,同时能和用户便利而直接的讨论、交流、打赏互动等,快速地迭代。

解决: 我们构建了极客日报社区 通过快速迭代实验了一系列的数据策略。

  • 博文推荐数据类榜单:
    • 每天值得看频道
    • 每天最佳新人
    • 一周精选
    • 月度精选
  • 支持运营类榜单
    • 每天分享能手
    • 铁粉增长
    • 原力计划V4
    • 一周学习榜
    • 每天学习榜
    • 一周精品笔记

有一个需要和BI区分的是

  • 企业内的BI平台可以在数据仓库里跑各种各样的内部分析数据。但是它只是内部的数据,没有推到前台,和用户直接发生交互,或者需要为数据定制前台页面。但是实际上,将数据直接推送到社区,直接使用社区的基本功能(发帖、红包、打赏、交流讨论),可以低成本快速的获得数据驱动实验和迭代。
  • BI部分大部分主要是结构化数据的分析和处理,可以完成1/3部分,但是数据智能还需要和AI结合处理,完成
    2/3,把数据直接推到能完成目标功能是最后1/3。把这3个部分结合起来做到轻量,快速迭代,就是数据智能的一个MVP。

在持续的快速迭代中,我们也从中提取了有效的算法和策略用在了其他地方。

  • 为了提取每天值得看的的分领域数据,我们分析出了以往的领域分类,对数据机器标签的得分没有充分使用,在我们充分使用后,领域分类就比较准确,在CSDN全站的领域榜上也同步了该策略。
  • 我们看到,每个领域平均推荐的结果是,初阶的,老的领域的数据太多,这些数据用户并不想看,不觉的这些博文有什么“值得读”的价值。那么,我们使用了“初阶的/老的领域降低数据量,中高阶/新的数据增加数据量”。这个策略进一步演变成了分层标签体系,用在了全站综合热榜的数据比例调控上,解决了综合热榜存在的初阶/老的方向数据太多的老大难问题,这是一个有效的策略,有效的策略能建立好的“良币驱逐劣币”的导向机制。最终,我们要和用户建立起 win-win 的双赢结果。这点也说明了,统一标签是数据分类的一种有效的底层机制,包括体系性、准确性、策略性三种相关的机制。

一些实验性尝试则还需要进一步的迭代。

  • 我们尝试了数据的初/中/高机器难度分类,目前还在进一步迭代中,难度等级的可计算性先对来说比较好难,因为难度是带有一定主观性的概念,在可计算性上有一定的模糊性,真正要比较好地解决,需要有覆盖度很全的知识图谱。简单来说,要有“体系性的先验知识”,这点我们在统一标签上也可以看到,如果只是单一的多标签分类,是不能解决问题的,但是一个覆盖度相对来说比较全的,新的标签体系,再配合精确的多标签分类,有层次性的策略规则,可以发挥很好的效果。
  • 新/老技术分类,是另一个尝试的分类器。同样的问题,单一分类器容易,要解决长尾问题,也还是需要结合分层体系来做。实际上这两个实验本质上都应该是决策树机制起作用,面对长尾的数据,决策树就变成了一个多层分类体系。

数据智能不单是算法,更是一个系统,一个带有反馈循环的自动化系统,从数据出发,需要的是一整套完整的反馈循环。

  1. 通过算法,分析结构化/非结构化数据,获得了topN的结构化数据
  2. 通过社区(终端)发帖,将数据分发出去。
  3. 通过社区的基本功能:评论、交流、红包、评论区打赏建立互动区。
    • 评论区,建立起社区的技术讨论氛围,引导有质量的技术创作。
    • 提问,无论是谁,发出博文获得对内容的讨论都是受欢迎的,形成正向反馈。
    • 打赏,鼓励高质量技术写作。
    • 红包,可以适当的建立一些热点社区内活动。
  4. 通过私信,让触达到位。
    • 现代Web,内容非常之多,茫茫信息量,有价值的信息要触达,但是要控制量,不能滥用。
    • 核心还是建立正向反馈:
      • 评论/回复尽量提供有价值的问题和讨论,这样配合触达才是正向反馈:Win-Win
      • 打赏当然要配合触达。
  5. 改进移动端交互体验。
    • 移动的流量事实上是远大于PC的,如果一个应用不重视移动/H5的体验,基本上活在Web1的时代,连Web2都够不上。
    • 如果用户好不容易克服了障碍,来到了页面,结果交互体验很差,那么就没有获得好的体验,用户获得的价值变低,用户和平台之间的价值交换没有发生。
  6. 运营也需要能自动化的获得很多信息来做数据分析。
    • 要形成有效的循环,也要能尽量把运营操作机械化,自动化
    • 人做什么?基本的动作交给机器之后,人来做那些机器做不了的事情,例如策略调整,分析缺失的链条,把链条补上,但是尽量不要做一次性的工作,尽量让工作能有可复用,聚焦到一个模型上。这样才会有沉淀。

总的来说,基于极客社区,我们逐渐在理解一些重要的问题:

  • 什么是数据智能系统?
  • 什么是数据驱动的循环?
  • 为什么触达是重要的?
  • 又是什么会让用户沉淀下来,形成用户粘性?
  • 为什么一个能快速迭代实验的系统,是重要的?
  • 如何面对“小”的数据?
  • 把“小”的数据公开给用户意味着什么?

直面这些问题,不放过细节,寻找逻辑上的链条,如果我们在小数据上验证成功了,那么它又可伸缩性么?放大后的变化曲线是线性还是其他的呢?有时候,我们需要大量一手的“人工智能”,花苦功夫理解数据:NLP 实战(11): CSDN Daily,兼谈技术写作的问题

实验:基于意图识别的1-2轮回复

我们悄悄做了一组机器人实验。本着朴素的思考,我们认为做通用的多轮回答机器人没戏。于是我们从最简单的意图识别开始,意图识别后,不是给用户推送广告,而是给引导用户真正获得学个知识或者问个问题。目前大概有10%左右的进入2轮对话。

基于学习用户画像,该项目还在持续迭代优化中。我们认为一个自然人用户,是不同场景的不同用户。例如针对学习场景来说,一个人是否是学习目标用户。在学习的场景中,每个人都在学习状态机的某一个状态,这个是动态变化的。如果我们建立起有效的学习状态机,根据情景的上下文就能动态的刻画学习者的状态。那么,我们就能有效的帮助用户获得真正需要的学习知识。

问答:减少重复问题和辅助回答

技术开发中的长尾问题是很多的,如何有效减少重复问题是我们的努力之一。采用基于语义匹配的模型,在问答里,当识别到用户提出的问题和以往的问题有高度相似性时,如果已解决的问题直接就解决了用户的提问,那么就减少了一次重复提问。目前能做到8%左右的采纳率。

有一类问题,它提出的问题事实上在博文里是有相关的博文能解决用户的问题的,或者某一些文档的参考资料能解决问题。我们构建高质量博文+知识图谱库,基于这些数据驱动来做1轮回答。目前还在迭代。

学习:技能树数据和管道的持续构建

海量的长尾数据,用户只能通过搜索和碎片方式来学习。逐渐地有很多各种各样的课程,但是如果课程本身又很多,又会变成大海捞针,回归到通过搜索和碎片式的方式学习。构建开放的技能树,聚集确定性的知识,让同主题学习发生。其中技能树的构建也是一种先验知识的构建,我们陆续和开放社区一起在原来的基础上,持续构建了 网络技能树、CUDA技能树、云原生技能树、Vue技能树,即将到来的还有 面向对象入门技能树、游戏开发入门技能树、mysql技能树…如果你有对某一个领域的系统的知识,有希望帮助到更多的开发者构建知识体系的热情,欢迎一起来技能森林参与构建:https://gitcode.net/csdn/skill_tree

而管道工具上,将多种异构的外部和内部数据源系统统一在数据层,提供一致的接口和服务。

热榜:有效的策略

我们对热榜和领域榜的实现进行了深入的分析和验证。将在极客社区里 CSDN每天值得看 实验获得的经验用在了热榜的改进上。

核心的改进是

  • 完整实现细节的review,能快速定位到具体的问题
  • 通过分层标签体系有效的调控数据的重要性,具有潮流技术导向的能力
  • 具有热点问题的编辑推荐能力
  • 经过标题党、软文识别、违规图片、质量分、等一系列低质量因子抑制,能有效抑制低质量文章

我们解决了卫生问题后,往下走就可以逐渐构建创新的功能点,想象和创建让用户眼前一亮的数据智能。

小结

数据要体现出智能,事实上是一个系统构建的工作。我们要理解数据、理解算法、理解自动化系统、理解产品和运营。最后你会发现它事实上还是要理解程序:什么是有效的正向反馈系统。在这里面,算法是精确定位的基础,数据体系是效解决长尾问题的根本,自动化系统是泵,终端和触达则是智能系统的硬件。不是为了堆砌名词,而是当我们说数据智能的时候,要想清楚智能在哪里。我们会持续在CSDN学习和全站数据上都做好每一个数据智能。

–end–

以上是关于NLP 实战(12): AI小组2022半年小结的主要内容,如果未能解决你的问题,请参考以下文章

NLP 实战 | AI 编程也遵循软件工程的基本原理

NLP 实战 | CSDN 在改进,2021我们做了什么?

NLP 实战 | CSDN 在改进,2021我们做了什么?

NLP 实战 | CSDN 在改进,2021我们做了什么?

AI小组2022总结

AI小组2022总结