宜人蜂巢技术点解读

Posted 2020-11-03

 YEP是致力于为中国金融科技行业提供信用评估、风险控制和精准获客的金融科技能力共享平台。

 宜人贷借款已使用YEP的智能分发平台，为合作伙伴推荐更适合其产品的用户。

 同时，YEP以宜人蜂巢为代表，从2017年开始为市场和行业赋能，以数据科学驱动风控。

 宜人蜂巢旨在通过数据科学驱动互联网风控，让信用释放更多价值。宜人蜂巢提供基于独创的非结构化解析引擎Nestor打造的多维多端实时保真数据获取服务；结合大数据、机器学习技术构建的反欺诈服务；通过深度数据挖掘、特征化工程构建千余维度特征的用户信用报告。

 宜人蜂巢于2013年由李善任先生（麦哥或Michael），在宜信宜人贷内部组建团队并成功孵化的项目。通过8大维度:金融、电商、社交、保险、社保、行为、位置等约20种数据源，千余维度特征，亿级关系网络等，帮助企业做出更明智的信贷决策，以扩大公平和透明信贷的可用性。目前查询量超过6000万次，体验用户超过3000万。通过宜人蜂巢科技平台的促成的放款额已突破1200亿；

 宜人蜂巢持续技术创新和精进运营，创造极致用户体验，引领互联网风控技术发展。我们接下来从整体架构、数据获取、反欺诈三个方面介绍宜人蜂巢的技术体系。

一、整体架构

先来看一下蜂巢的整体技术架构：

宜人蜂巢结合了大数据和机器学习的最新技术，组成完善的技术矩阵，构建智能、高效、稳定和安全的数据服务和风控服务：

二、独创Nestor引擎 秒级保真数据获取

宜人蜂巢基于用户授权的数据获取服务，涵盖金融、电商、社交、保险、社保、行为、位置等8大维度，超过500个数据源站点。该业务场景的特点是：

1.         时间长，用户交互步骤多，页面下载和解析量大

2.         不稳定，500多个异构数据源，随时都有数据源维护、停服、响应慢等现象，不可控因素多

3.        反机器人技术愈发成熟，数据获取难度加大

宜人蜂巢独创了Nestor引擎，通过实时调度、精细化采集、可热部署升级、计算机视觉、无状态弹性伸缩等技术手段，做到了秒级保真数据获取，提供了极致用户体验，成为业内标杆。

1)         实时调度

Nestor把单个用户的单一数据源的授权获取视为一个任务，任务被设计为异步执行、消息驱动、无状态化的。Nestor将不同数据源的任务进行混编，通过独创的资源共享和调度技术，最大化资源利用率。

利用消息驱动，使用消息队列削峰填谷，将各数据获取过程解耦，上下文信息以消息体现，业务流程无状态。各业务线之间的消息传递均使用128位深度加密算法进行加密，最大程度上保证用户数据安全

Nestor是通过Zookeeper进行集群协调，调度节点多主热备，任务执行节点无状态化弹性伸缩，系统无间断稳定运行，吞吐量随需应变。

 

2)         可热部署升级

宜人蜂巢通过独创的受专利保护的Nestor模板技术，动态函数注入技术，把每个数据源的授权获取和解析逻辑写入标准的JSON文件，通过配置中心下发到任务执行服务器。任务执行服务器受消息驱动，根据最新的JSON配置执行数据的获取与解析。

通过发布JSON文件，无需代码的编译打包和重新部署，即可完成数据源升级，该技术使得代码量下降了60%，系统可用性达到99.9999%。

 

3)         智能代理

反机器人技术里最常见的一个手段是进行IP访问限制。蜂巢通过自建和外部合作等方式构建了强大的代理池网络，覆盖3大运营商，运行于多个公有云，满足HTTP/HTTPS、SOCK4、SOCK5代理类型，动态拨号，任何时刻拥有上千个可用IP，蜂巢的代理可用性达到99.9%。

宜人蜂巢对数据源的代理表现进行实时监控，对代理进行评级和打分，结合自适应学习和规则动态决定任务所使用的代理及重新测量。

 

4)         计算机视觉

宜人蜂巢采用OCR、卷积神经网络技术，对验证码高效失败，最小化用户输入和交互流程，大大缩短数据获取时间；通过计算机视觉技术高效精确识别图片化数据，提取成结构化数据，只要是用户可见的信息均可成功获取。

 

5)         精细化采集

宜人蜂巢对每一个数据源进行了精细化采集，对页面进行深度分析，消除冗余资源加载、合并数据请求、最少化请求数、最大化并发能力、无DOM化极速解析，确保数据获取和解析的极致性能。

 

6)         APP端采集

移动互联网飞速发展，越来越多的企业出于成本、用户体验等因素的考虑，只开发移动app，而放弃pc版站点，逐渐形成APP为主，PC站点为辅的布局形态，传统的基于网页的数据获取技术已经不能完全满足需要。蜂巢通过虚拟化技术，构建了大规模的虚拟android集群，机型可以灵活配置，满足复杂多变的APP运行需求。宜人蜂巢组合Android界面自动化技术、HTTP/HTTPS代理技术、计算机视觉技术实现了APP数据无缝获取。

宜人蜂巢具备完整的PC、Web、APP三端数据获取技术，在用户授权提前下，可以实时保真获取到用户金融、电商、社交、保险、社保等5大维度数据。

三、多维交叉反欺诈

有金融的地方，有金钱的地方就一定会有欺诈发生。欺诈用户会通过虚构信用卡账单、虚假交易、团伙作案、多头借贷等手段进行信用造价，骗取贷款，贷出超过自身偿还能力的额度，给企业带来损失。宜人蜂巢运用大数据、机器学习、社交关系图谱、特征工程等技术，结合黑名单库和联盟数据进行多维交叉检测反欺诈，鉴别拦截率成功高达98%。

1)     账单反欺诈

基于海量用户邮件头信息，提取疑似欺诈特征，通过邮件路径追踪、黑白名单库对比、 决策树模型等方法，辨别可疑邮件来源

运用统计建模、逻辑回归、SPF反查策略、文本挖掘分析、决策树等技术，对账单邮件内容进行深度分析，对欺诈账单进行特征挖掘，精确识别邮件内容篡改。

截止目前，拦截疑似欺诈账单超过1000万封，疑似欺诈用户80万，规避违约贷款50亿。

 

2)     欺诈团伙识别

基于宜人蜂巢8大维度的用户数据，构建构建用户社交关系图谱，分析用户与黑灰名单、欺诈团伙的碰触路径及黑灰度。通过关系图谱，可以挖掘出用户N度关系内逾期人数、放款人数、重复账单数、涉黑联系数，判别是否为欺诈团伙以及可疑程度。

      宜人蜂巢社交关系图谱累计4000万+个节点，10亿+关系连接，有效识别触黑用户、欺诈团伙，并可以进行贷后失联修复。

 

3)     风险特征工程

宜人蜂巢通过特征对风险特征进行建模，对用户进行画像，通过随机森林等大数据挖掘和机器学习技术提高模型预测精度。依托流式处理平台，对数据源进行实时清洗、挖掘与计算，形成了包含电商、运营商、金融等强金融属性、千余维度千余维度的强金融属性风险因子。依据用户授权的网银、邮件账单数据进行深度挖掘分析，生成能反应用户信用历史、消费还款等行为的报告。依据用户授权的运营商数据进行深度挖掘分析，生成能反应用户社交习惯、异常记录等行为的报告。依据用户授权的电商数据进行深度挖掘分析，生成能反应用户网络消费习惯、购物喜好等行为的报告。

 

4)     多头借贷

客户从多个平台借贷，可能带来超出用户偿还能力的违约风险，宜人蜂巢利用丰富的数据维度，结合大数据和机器学习技术，有效识别用户是否存在多头借贷行为。利用大数据技术分析用户的交易记录和账单记录，寻找放款和还款特征；利用独创的检测技术检测用户关联属性是否在其它借贷平台有借贷行为，目前以覆盖40多家主流借贷平台；与业内公司联盟，共建多头借贷信息池；

 

           5)     情报监控

欺诈团伙搜集不同平台的借贷条件、盯梢平台漏洞、伪造用户数据，进行有针对性的伪造信息，并在其网站、论坛和社交媒体进行传播。宜人蜂巢情报监控实时采集行业网站、论坛和社交媒体数据，结合流失计算和语义分析技术，截获欺诈营销情报，第一时间发现欺诈团伙，并进行针对性风险防控。

 

6)     黑灰名单库

宜人蜂巢利用宜信自有贷款的数据积累，结合合作伙伴数据，创建了包含手机号、×××、微信号、邮箱的黑/灰名单库，收录相关信息超过100万条。宜人蜂巢在行业内推大力动违约用户信息共享，蜂巢黑名单库日渐完善。

四、优势

宜人蜂巢能够持续赢得客户和合伙伙伴的肯定，是因为宜人蜂巢具备了四大核心优势：

1.   智能

    构建信贷各环节信息的FinGraph，多维度特征交叉检测，联防监控，有效预防多头借贷，精准识别欺诈用户或团伙，从源头阻断风险行为，将欺诈行为的鉴别拦截率成功提高到98%以上，提升风控有效性。

2.   高效

    利用独创的非结构化数据解析引擎Nestor，对多维多端授信源进行实时保真采集，结合先进的算法模型（计算机视觉、数据挖掘与机器学习等人工智能技术）形成精细化的数据整合应用，提升用户转化率。

3.   稳定

    通过服务无状态化设计实现水平扩容，对依赖数据源、服务采用多链路多策略备份，结合全方位实时的系统、业务、数据源监控， 7*24小时运营支持，蜂巢服务可用性达到99.9999%。

4.   安全

  采取三层防火墙、RSA加密技术、数据隔离、数据脱敏、分布式存储等安全技术，结合运营安全制度和策略，通过多重防御布控保障系统安全。

    

  数据为信，信用生金。宜人蜂巢期待与行业伙伴们携手合作，共御风险，让信用释放更多价值。