技术突破寻找新思路，互联网内容的风控与风口

Posted 2021-08-22 CSDN资讯

在当今时代里，内容为王的理念越发深入人心。影视行业中，口碑佳作逐渐开始占据上风，流量当道劣币驱逐良币的现象正在逐渐减少；音视频方面，各种低成本优质制作也频频给出亮眼成绩，让人们开始期待未来发展；而在原创保护方面，我国的制度和标准越发规范，给予原创的保护也越发明确，因此，更多的平台为内容创作提供了良好的网络环境，属于内容的风口已经全面到来。

然而随着平台作品数量大幅上升，各类作品的内容质量难免出现良莠不齐，更有大量不良信息充斥其中，内容风控成为各个平台所面临的重大议题。智能时代，效能当先，以往人工审核的方式费时费力且容易疏漏。因此，利用AI技术提升内容审核的效率和精准度已成为未来发展的主要方向。

北京时间7月17日，以“互联网内容风控的困境与机遇”为主题，腾讯安全思享会邀请到了虎牙的两位技术专家 虎牙安全事务部副总经理徐子为及虎牙安全事务部副总经理杨志航倾情加盟，另腾讯业务安全副总经理王翔、腾讯安全新文创行业资深架构师马中一、腾讯安全业务安全资深架构师蔡耀也参与了活动分享，专家大咖们基于对技术的解读与案例实践，解析了各自在内容风控方面的技术与经验，寻找信息时代中互联网内容发展的新机遇。

科技加持下的互联网内容审核演进

腾讯业务安全副总经理王翔

活动伊始，腾讯业务安全副总经理王翔分享了《用科技护航互联网内容生态健康有序发展》。此前的资料显示，我国10岁以下的网民已经有1800万人，其中有56%的儿童初次上网低于5岁；更可怕的在于，约有15.6%的儿童曾经遭遇过网络上的不良内容。

为了提升对未成年人的保护，腾讯安全主要通过技术方式识别一些不良的内容，识别的内容主要分成两个类型，第一种以成年人为主体，关注是否有色情、低俗等不良内容的传播；另一种则定位在未成年人群体中，识别是否出现抽烟、喝酒等不适宜接受的内容。

那么腾讯安全如何通过技术来实现不良内容识别呢？王翔从三个层面来揭开保障未成年人安全上网的神秘面纱：1、腾讯提升了细粒度识别的能力，能够实现七大类、120个小类的违规识别；2、优化了识别的准确率，比如在AI识别模型训练的精准度等层面，构建人体部件检测识别一体化模型GPDR-net，解耦人体与部件检测，融合部件关系推理增强检测，支持10类部件检测22类识别；3、腾讯在算法层面提出开集分解网络OSD-net，实现了动态拆分正常类，同时拉开敏感类与正常类的间距，适用于通用开集识别问题。

除了自身应用以外，腾讯还开放了API接口用以帮助客户快速接入，腾讯云内容审核、点播、直播SDK以及存储系统，从而实现快速与内容管控平台自动化对接。王翔表示，在不久的将来，腾讯安全会在标准、数据、训练等方面持续与企业合作，共同攻克这些技术难点。

环境变革，内容安全的信息化发展

腾讯安全新文创行业资深架构师马中一

腾讯安全新文创行业资深架构师马中一分析了《5G全真互联网时代内容风控技术发展探讨》的进程。随着技术环境的变革，内容审核对于尺度和范围的要求在逐渐增加，同时，随着5G时代的发展，内容的创造和传输的门槛进一步降低，内容生产量级实现了指数级的提升。人工审核显得越发捉襟见肘，因此未来除了要进一步对机审提高准确度和覆盖之外，还需要在大数据团队和人工智能团队方面进行整体的提升。

而基于目前的视频产业发展来看，越来越多的内容开始呈现视频化传播，而单纯基于短视频、长视频的审核规则很难在融媒体、多媒体的时代里实现通用，审核标准多元化必不可缺；同时，视频行业和信息行业在逐步完成社交化。在审核的时候发不能单纯以最高排行的评论为准，社交化的内容某种程度上已经超出了视觉识别的范围，多元化文字使得判定元素也在多元化，需要考量其是否是真人评论、是否正常传播以及是否是真实评论；再者，由于视频传播的全民化，个人UGC平台和MCN平台缺乏专业审核能力。

因此，腾讯根据系统多元化、社交化、全民化的发展特点，使用相应的技术去承接审核业务变化，使得审核矩阵逐渐脱离“机器+人工”的简单概念，而是以视觉识别、区块链、视频分析、指纹识别等能力构建数据底座。

在技术上，腾讯进行了三大升级，在工程上腾讯内部组建了实验室团队，并将所有团队的能力输出成同一个视频审核的审核矩阵；在音视频审核上达成了专业级级别，并在互联网层级，实现了对于机器确定部分识别高达99%的准确率。第三个升级则是在纵向上完成在解决方案的升级，公司会承接一些公益性的审核项目并实现合作落地。

此外，腾讯利用区块链统一差异化审核标准，打造了省级协同审核平台。通过区块链存证低成本高效的实现内容的确权，推进全员媒体环境下的媒体的版权保护，版权审核及版权交易建设，并依托大数据实现融媒体的分级评论风控和评论信誉体系。在广电行业的内容审核落地过程中，腾讯也得到了广电总局AI媒体大赛（内容审核赛道）的全国一等奖。

总结来看，审核的本质就是在用户和内容之间的建联，审核技术的升级和提升其实就是为了把控这种建联的效率和建联的方式上的评级。在未来3到5年中，内容的审核将改变的不再是信息化的融媒体或者新媒体，其改变的是整个社会对于个人信誉值的判断以及商业化价值变现的判断。届时内容审核会像内容社交、内容变现和内容传播一样成为最底层的建设，成为传统互联网工程建设的一部分。

信用体系的构建及内容安全管控

虎牙公司安全事务部副总经理徐子为

随后，腾讯安全合作伙伴虎牙安全事务部副总经理徐子为、杨志航共同分享了《基于“信用”的内容安全管控&网络直播黑灰产业态势及治理》徐子为认为，信用一词在日常生活中并不少见，但是信用体系在内容安全体系里面却是一个基础能力。一般来讲，风控体系的构成主要有策略中台、技术中台和人机智能审核系统。策略中台可以视为大脑，技术中台主要是基于内容安全的技术应用和内容理解识别；虎牙的审核系统则主要包括了值班审核团队、应急小组、工会管理和房管体系以及志愿者团队四部分组成。 

通常来讲，“信用”是属于道德体系的。但是在内容安全层面，信用被认为是价值体系。平台会基于大数据和审核人员对主播用户审核并构建信用体系，最终基于信用体系应用在系统中，从而对风险进行有效控制。信用体系的设计思路主要涵盖了五大要素，分别是：内容的生产者、内容、内容载体、内容处理者和内容接收者。 

信用体系的构建主要基于大数据的标签技术来实现，其中包括了六大标签，包括实名认证信息、个人基础信息、关系网、账号特征、行为表现和违规记录。有了这个体系之后，其可以应用于审核流程中审核流程主要关注六个点，事前管控、违规发现阶段、推审阶段、违规审核、处罚阶段以及运营教育。

信用体系上线之后，在风险预判上面，其可以提升在高人气直播间的弹幕管控；在首页推荐方面是基于信用体系的安全策略和推荐算法相结合，然后对推荐内容进行降权和分级；在资源合理分配方面，能够促进工会和主播的主动教育及规范；在违规次数和严重程度方面有所降低；在效率提升方面，使得审核的重点板块有所提高。

直播产业的黑灰产解析

虎牙公司安全事务部副总经理杨志航

虎牙安全事务部副总经理杨志航认为，目前从行业来看，任何厂商都无法实现百分百的内容风控的安全，遗漏的部分通常是黑灰产。网络直播的黑灰产有很多与互联网黑灰产相同的地方，但也有其独特性。网络直播黑灰产的形态主要是在从事违法犯罪相关的内容；一旦在风控环节有所遗漏，就很容易被利用进行黑灰灰产的推广。

网络直播的黑灰产上游是通过卡商、号商在解码平台批量注册各个平台的一些黑灰产账号，而黑灰产账号就是整个产业的源头，其不仅仅是在直播行业，所有互联网行业都是共通；中游分为两类，一类是整个网络黑灰产的推广引流的渠道；第二部分则是诈骗，整体电信网络诈骗在互联网黑灰产占比能占到50%以上；下游会协助上游和中游，通过币商在各个平台进行倒买倒卖，最后进行变现。 

整个行业的黑灰产的态势有三个特点，受害面广、隐蔽性强；利用多平台进行引流，不直接触犯敏感词库或审核策略，而是通过一些变种形式进行；针对黑灰产上中下游整体的运作模式，呈现职业化、产业化，整体也在进行技术化和智能化升级。解决这些问题需要多方努力，虎牙自研了适合自身生态的一个风控全链路系统和审核系统；同时与各地警方进行有效联动和运作；对于用户的宣传和教育也在进行反诈宣传等；同时，虎牙还招募了大批的志愿者团队，发挥他们最大的能动性，让他们自主参与到整个平台的治理当中，实现群策群力，共防共治。

 

腾讯安全业务安全资深架构师蔡耀

最后，腾讯安全业务安全资深架构师蔡耀现场分享了对《内容安全研究与实践》的理解。他从境外反动组织视角切入，在中外各起群体事件中抽丝剥茧，全方位展示出恶意内容创造组织如何通过“工业流水线”的形式，借用直播与社交平台进行“圈粉”，制造事件进行线上下联动。当前的恶意内容创造开始变得越来越隐蔽，从创造到爆发具有严格的计划性，在此背景下，内容安全的对抗发展也由之前的应对“独狼”转变为专业的“组织”进行对抗。

内容安全体系建设不再是几个审核或者运营就可以解决。该类问题的预防和治理需要一套成熟的体系，在搭建体系时首先要正确的理解监管政策，实现政策和技术的一致性；其次需要丰富策略对抗性，增加对抗能力与技巧；第三需要增加对海量数据的全局把控能力，把潜在的“负面意见领袖”和“风险话题”进行提前的监控与追踪，在问题产生与话题传播前实现有效控制；第四是人工审核波峰波谷的问题与审核人员如何理解审核标准，理解意识形态，在繁复多变的审核工作中如何实现标准一致，输出一致。

腾讯安全的内容体系就较好地解决了以上问题，并针对中长期可能出现的敏感人物与事件提前储备了应急预案，积极为社会赋能。

整体来看，互联网内容安全审核在未来将会成为各个平台必不可缺的一部分技术工作，而如果能够提前布局并且完善各个管控体系，将会有望让企业和平台占得时代先机。