网络爬虫技术防范洗钱风险 | 汇付天下反洗钱系列

Posted 2021-04-30 汇付天下

本月的反洗钱专题来了！今天我们要来和大家介绍一下网络爬虫技术以及其防范洗钱风险的应用。

随着互联网的规模及普及不断增加，网上信息数量成指数级增长。如何从海量信息中准确有效地检索出所需的信息，成为一个重要而迫切的研究课题。

什么是爬虫技术

网络爬虫（Web crawler），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。

爬虫技术发展趋势

近年来，随着网络爬虫技术的持续发展，搜索策略也在不断进行优化。从目前来看，未来网络爬虫的发展主要呈现以下趋势：

•网页数据动态化

传统的网络爬虫技术主要局限于对静态页面信息的抓取，模式相对单一，而近年来，随着Web2.0/AJAX等技术成为主流，动态页面由于具有强大的交互能力，成为网络信息传播的主流，并已取代了静态页面成为了主流。

•数据采集分布化

分布式爬虫系统是在计算机集群之上运转的爬虫系统，集群每一个节点上运行的爬虫程序与集中式爬虫系统的工作原理相同，所不同的是分布式需要协调不同计算机之间的任务分工、资源分配、信息整合。

爬虫技术应用的设计

网络爬虫技术可应用于多种不同的场景，不仅可应用于客户全景画像，还可作为风险防控手段之一。

客户身份信息和交易信息就像蜘蛛网一样，各方面的信息积累越多，则客户属性、交易模式的了解就越全面。根据了解的信息，借助现代科学技术，特别是大数据分析、人工智能的应用，刻画出完整的客户画像，设计出自定义交易监测模型，构建甄别系统，建立监控负面信息报警机制。突破地理距离的限制，捕捉和整合相关信息。

网络爬虫技术数据处理模型设计思路

爬虫技术的应用场景

一、客户全景画像

客户全景画像指的是网络爬虫系统对客户相关信息进行实时采集、更新，不仅可以更全面地了解客户全面的身份及交易情况，而且可以对客户的潜在营销商机进行预判。有效构建面向客户的全景画像，这是对传统“客户关系管理”以及“非现场风控”技术的有益补充，将会极大促进客户管理和营销策略制定。

通过对客户行为分析，可以挖掘出客户的消费习惯、兴趣和偏好等，将客户特征抽象成短语标签，建立客户画像。

二、可疑交易监测——针对涉嫌黄赌毒客户的交易监测

①针对开展网络支付业务的客户，可利用网络爬虫技术，有效地监测客户网站是否有跳转赌博网站，客户网站是否有涉嫌黄赌毒，防范黄赌毒类风险； 

②同时，可利用网络爬虫技术，通过对涉黄赌毒类敏感词汇的监测，发现有问题的客户，再通过人工排查客户的交易背景、交易模式判断客户是否涉嫌黄赌毒，防范洗钱风险。

三、网络舆情监控

网络舆情监控是指通过对网络各类信息汇集、分类、整合、筛选等技术处理，再形成对网络热点、动态、网民意见等实时统计报表的一个过程。

爬虫根据网站入口遍历爬取网站内容：

①第一步要规划好待爬取的网站有哪些？根据不同的业务场景梳理不同的网站列表；

②第二步是使用爬虫获取数据，舆情内容是文字、图片、视频还是图文结合、视频文字结合等。

汇付反洗钱监测的新技术应用

基于金融科技的蓬勃发展，新技术不断涌现。在当今大数据时代，反洗钱工作也顺势而为。汇付天下合理利用网络爬虫技术——设计并上线了SKY技术，合理利用多种来源的海量数据，进行更深入地挖掘，更有效、更精准地预防、打击洗钱和恐怖组织犯罪。

什么是SKY？

• 通过SKY对商户的运营网站进行监测，查询商户经营网站是否能正常打开，有效监测跳转其他网站链接或网站发生异常的商户，结合人工排查，对商户身份信息发生异常、存在洗钱风险的商户进行账户处置，动态监测商户背景，有效防范洗钱风险。

• 通过SKY对商户的运营网页详细信息进行爬取，将爬取到的网页内容进行分析，筛掉无用的内容，提取需要的内容。通过对网页敏感词汇的爬取、分析，及时、有效地识别黄赌毒类、传销类、电信诈骗类等涉案商户，打击洗钱犯罪、维护金融秩序。

随着互联网技术的发展和数据爆炸，网络爬虫技术为支付机构数据采集和信息整合应用提供了全新的技术路径。站在支付机构应用实践的角度，网络爬虫在日常经营管理中的发展潜力巨大。

网络爬虫技术的应用可以助力我们汇付在了解自身、了解客户、了解竞争对手、了解经营环境上进步了一大步。网络爬虫技术将成为支付机构提升精细化管理能力、提高决策智能化水平的重要技术手段。