风控系统实践之感: drools 和 redis 二

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了风控系统实践之感: drools 和 redis 二相关的知识,希望对你有一定的参考价值。

参考技术A 根据目前风控系统运行情况来看,遇到如下的问题

1. redis 中的key 太多,在存量卡号比较大的情况下,redis 中key的存储过于庞大。

2. redis 本身RDB 和 AOF 的问题。 线上开启AOF 重写出差情况下,会阻塞redis 主线程。

基于以上问题,我们发现redis 开启AOF 和 RDB 带来许多麻烦。第一点 是冷热key 的问题,redis中存储了大量的key,而这些key 是用来累计各种衍生变量的。但是其中很大一部分是冷key。这些key 其实可以置换到SSD 这种存储设备上的。

因此为了解决冷热key 的问题,我们引入了额外的中间件 areospike。 冷热key的置换和一致性的维护,是比较困难的,何为冷key,可以热key呢?  我们没有严格按照冷热key的标准来做,我们根据业务来做。天,周,月 等累计或者统计,都是放在areospike 里面进行的。 但是天以内的小时级别的累计,因为要求实现滑动窗口,对准确性和实时性比较高, 因而延续redis 的方式去实现。那么对于风控中各种窗口的累计和维护变成如下的变动:

1. areospike 统计 天, 周, 月 等纬度的累计,默认是一天长度的滚动窗口

2. 24小时内的衍生变量计算,继续使用redis做滑动窗口的计算。

针对第二问题,我们也没有发现线上产生这种原因具体是什么,但是可以怀疑的是

线上单台redis 太大,有120G,如果AOF 重写出错,需要从头开始同步更多的数据。一边应用对redis 有大量的写操作,一边 redis 本身有AOF 大量重写。

对于这种问题,我们没有找到本质原因,但是我们将120G redis 变成了 60G的大小,切成两台。同时只开了RDB。 问题就没有再出现过。

对于risk 后面的规划是在实时风控那块变成Flink 模式。 批量风控目前hive/clickhouse 可以解决,系统还在逐步的演化。

drools6.3+spring+Drools Workbench+activemq搭建风险控制系统

 根据业务的需求,从2015年10月份开始模式搭建一个风险控制系统,用于对实时交易的实时控制和非实时监控。当时上网搜索了一下,发现一个不错的框架drools,然后耗费了三个月,终于把drools引入到风控系统中。期间一路遇到的问题无数,如果是新手去搭建drools,估计至少折腾1-2个月。系统最终实现了在一个业务管控台中根据业务配置业务规则,生成决策表和规则的drl文件,然后通过drools workbench控制台构建项目和部署jar包方式发布规则。风控系统通过drools的maven机制,通过maven 的gav方式间隔一定时间扫描kie-workbench,最终实现动态更新drl规则,实现更新业务规则不用停机的目标。


 系统采用spring4.2.4、drools6.3、activemq、drools workbench实现。业务逻辑如下:实时交易系统通过MQ异步或同步方式,发送实时交易数据到风控系统。风控系统调用drools框架,判断交易数据是否满足风控监管要求。如果发现,则在drl规则文件中调用相应的spring服务,记录违反风控的案例。


其中的难点有:

       1、通过maven pom.xml引入drools的jar包

       2、风控系统动态刷新drools风控规则、风控参数;

       3、风控系统中的规则drl能够调用spring的服务,调用数据库层完成记录功能;

       4、drools决策表的使用;

       5、决策表转为drl文件;

       6、drl文件打成jar包实现动态部署,风控系统更新规则不需要重启;

       7、部署kie-workbench,drools workbench使用;

       8 、drools与spring集成;

       9、eclipse中安装drools插件;

      10、xsi:schemaLocation引入的麻烦。

       11、spring无法启动,报Java.lang.NoSuchMethodError: com.google.inject.Binder.bindListener


第一章:关于drools


 drools官网:http://drools.org/

从这里可以下载最新的drools版本和drools workbench。我在这里只下载了drools workbench。实际是把drools workbench当成一个drl规则的编辑、管理、maven版本服务器。

       drools的相关jar包通过在项目中的pom引入:

        <dependency>
<groupId>org.drools</groupId>
<artifactId>drools-core</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.drools</groupId>
<artifactId>drools-decisiontables</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.kie</groupId>
<artifactId>kie-api</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.drools</groupId>
<artifactId>drools-compiler</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.drools</groupId>
<artifactId>knowledge-api</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.kie</groupId>
<artifactId>kie-spring</artifactId>
<version>6.3.0.Final</version>
</dependency>
<dependency>
<groupId>org.kie</groupId>
<artifactId>kie-ci</artifactId>
<version>6.3.0.Final</version>
</dependency>

通过pom引入drools的jar包,本来是一件很简单的事情,但就是下载不下来,折腾了几天,更换了JRE中jce等安全的jar包,最终下载下来。

但放上jenkins服务器后,始终还是不能下载,于是拼命google,最终发现老外们的谈话中说到一个maven的bug。

果断让公司的同事更新了jenkins对应的nexus公司私服对应maven版本,最终解决了该问题。

原因是maven某个版本在解析依赖路径时,不支持jboss的某种文件方式。该问题也折腾了很久。


第二章:安装eclipse的drools插件。


这个插件在eclipse的直接更新即可。自行搜网上的攻略,这个问题不太。安装完这个插件后,就可以创建drools项目、debug drl程序、编辑drl文件等。

貌似还可以创建决策表之类,这个没有试。


第三章:编写drl文件。


drools drl文件是一种类java语言,基本规则是:

package com.test.risk.epay.vo.risk;
//generated from Decision Table
import com.test.risk.xxx.RiskRecordService;
import com.test.common.utils.RiskEcoUtils;
global RiskRecordService riskRecordService;

// rule values at C13, header at C8
rule "Epay Base Risk Rule_13"
when
$epayCommonEcoRiskVo:EpayCommonEcoRiskVo(passwd_error_cnt == "5", open_cancel_cnt == "5", pay_passwd_mod_cnt == "5", find_passwd_cnt == "5", bank_card_mod_cnt == "5", phoneNo_mod_cnt == "5")

then
riskRecordService.insertKieRecord($epayCommonEcoRiskVo,"base_00000001");
end

需要定义跟java类似的package,import 类,还有可以定义global的参数。其中EpayCommonEcoRiskVo是放到package com.test.risk.epay.vo.risk的类。


第四章:安装drools workbench


从drools官网下载tomcat7版本的Drools Workbench,实际就是一个war包,需要严格按照里面的readme的要求,配置好tomcat才可以运行起来。我尝试安装在本地的windows环境,但总是不成功,最后找了一台Linux主机安装好了。具体步骤:通过maven可以下载相关的jar包,然后扔到tomcat的lib目录。需要按要求修改tomcat的一些配置。readme没有要求修改h2中sa的默认密码,但我多次尝试后,发现必须设置一个密码。可以通过命令:

java -cp h2-1.3.161.jar org.h2.tools.Shell -url jdbc:h2:~/jbpm2 -user sa -password 123456创建sa的账号密码,然后修改resources.properties中的sa的密码。

特别注意一点:由于资源有限,我尝试把风控系统与drools workbench部署到同一台机器,这个会出现问题。理由是:风控系统需要依赖本地的maven服务,需要配置~/.m2目录下的settting.xml,需要把setting.xml的url指向drools workbench的机器。但如果drools workbench启动时,它也会检查本地的setting.xml,而这个setting.xml需要指向自身,最终会导致drools workbench无法启动。因此:drools workbench必须部署在一台远程机器上。~/.m2/setting.xml配置如下:

<?xml version="1.0" encoding="UTF-8"?>
<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"
          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">
<servers>
    <server>
      <id>guvnor-m2-repo</id>
      <username>domcat</username>
      <password>xxxxxx</password>
      <configuration>
        <wagonProvider>httpclient</wagonProvider>
        <httpConfiguration>
          <all>
            <usePreemptive>true</usePreemptive>
          </all>
        </httpConfiguration>
      </configuration>
    </server>
  </servers>
  <profiles>
<profile>
      <id>guvnor-m2-repo</id>
      <repositories>
        <repository>
          <id>guvnor-m2-repo</id>
          <name>BRMS Repository</name>
          <url>http://xxx.xxx.xxx.xxx:8080/guvnor/maven2/</url>
          <layout>default</layout>
          <releases>
            <enabled>true</enabled>
            <updatePolicy>always</updatePolicy>
          </releases>
          <snapshots>
            <enabled>true</enabled>
            <updatePolicy>always</updatePolicy>
          </snapshots>
        </repository>
      </repositories>
    <activation>
      <activeByDefault>true</activeByDefault>
    </activation>
    </profile>
  </profiles>
  <activeProfiles>
    <activeProfile>guvnor-m2-repo</activeProfile>
  </activeProfiles>
</settings>

其中上述风控系统中主机的setting.xml中的账号和密码就是drools workbench所在tomcat的tomcat-user的配置账号密码,也是drools workbench的登录账号密码。


第五章:spring与drools6.3集成


网上大部分的描述都是spring与drools5版本的集成。drools6版本出来后,在更新drl规则上做了很大的改动,实现了根据类似maven的groupId、artifactId、version更新规则。网上资料甚少,加上官网的文档也说得不够清楚,最后也折腾了一番

首先,在风控系统和drools workbench所在的linux主机不需要安装maven,也不需要设置maven环境变量,但需要有~/.m2及下面的setting.xml,setting.xml参考上面。

在spring的applicationContext.xml中,加入:

<kie:import releaseId-ref="ksession-releaseId" enableScanner="true" scannerInterval="300000"/>
<kie:releaseId id="ksession-releaseId" groupId="com.test" artifactId="epay-risk" version="LATEST"/>

<bean id="kiePostProcessor"
            class="org.kie.spring.annotations.KModuleAnnotationPostProcessor"/>

引入的目的是实现动态刷新规则jar包的规则。配置的时间是5分钟刷新一遍,最终实现业务规则的更新,不需要重启机器。加入以上配置后,eclipse报错,无法辨认kie:import等标签,需要在xml中加入:xmlns:kie="http://drools.org/schema/kie-spring" 还有:http://drools.org/schema/kie-spring https://raw.githubusercontent.com/droolsjbpm/droolsjbpm-integration/master/kie-spring/src/main/resources/org/kie/spring/kie-spring-6.0.0.xsd

在spring 的serviceImpl中,加入:

/**
*使用kie-spring注入服务  
*/
@KSession("defaultKieSession")
@KReleaseId( groupId = "com.test", artifactId = "epay-risk", version = "LATEST")
private KieSession kSession;

  完成kieSession的初始化。需要注意的是:配置的version是LATEST,一旦每隔5分钟扫描一次的kieScan侦查到有新的版本后,就会自动更新为最新版本。按这样的LATEST写,每次都需要在drools workbench发布增量的新的版本号,不能使用固定的版本号。如果使用固定的版本号,采用SNAPSHOP方式实现。

spring启动时,会自动到drools workbench服务器下载对应的jar包,并且每五分钟到drools workbench扫描一遍,看看有没有最新的jar包版本。如果有,则下载到本地的~/.m2目录下。

测试:在drools workbench中更新drl规则,更新jar包的版本,部署jar包后,风控系统每5分钟(可以配置)扫描到有新的版本,将完成更新,然后按新的业务风控规则运行。


第六章:drl调用spring服务


drl的规则如下:

package com.test.risk.epay.vo.risk;
//generated from Decision Table
import com.test.risk.xxx.RiskRecordService;
import com.test.common.utils.RiskEcoUtils;
global RiskRecordService riskRecordService;

// rule values at C13, header at C8
rule "test Epay Base Risk Rule_13"
when
$epayCommonEcoRiskVo:EpayCommonEcoRiskVo(passwd_error_cnt == "5", open_cancel_cnt == "5", pay_passwd_mod_cnt == "5", find_passwd_cnt == "5", bank_card_mod_cnt == "5", phoneNo_mod_cnt == "5")
then
riskRecordService.insertKieRecord($epayCommonEcoRiskVo,"base_00000001");
end

其中注意一点riskRecordService是spring的一个服务。那么怎么让drl认识到riskRecordService这个spring服务呢?折腾半天,最终找到方法:

在ksession初始化时,通过kSession.setGlobal("riskRecordService", riskRecordService);设置:

/**
*使用kie-spring注入服务  
*/
@KSession("defaultKieSession")
@KReleaseId( groupId = "com.test", artifactId = "epay-risk", version = "LATEST")
private KieSession kSession;


/**
* 数据库层
*/
@Autowired
RiskRecordService riskRecordService;

/**
* 初始时完成
*/
@PostConstruct
public void init(){

//当需要读取classpath时,放开注释。
/*
KieServices ks = KieServices.Factory.get();
KieContainer kContainer = ks.getKieClasspathContainer();
kSession = kContainer.newKieSession("ksession-rules");*/
kSession.setGlobal("riskRecordService", riskRecordService);
}

通过setGlobal的方式可以让drl认得spring的服务,从而可以在drl规则中调用spring服务。


第七章:drools

workbench的规则编写

本来以为drools workbench编写drl文件是一件简单的事情,但当我把drl文件写进去时,却发现无法编译通过,也就是说import进来的类必须存在。我觉得非常奇怪,drl文件中import来的类是存在于spring的项目中,编译drl时不应该检查import的类是否存在drools workbench。但是,规则是人家定的,最终的解决方法就是把所有drl中使用的的java类封装成一个底层的jar包,然后在drools workbench的项目中通过artifact repository中安装该底层jar包,然后在drools workbench项目中通过add dependency加进来,最后编译、部署和发布jar包成功。


第八章:关于drools决策表的使用及转化为drl文件


建议参考官网的例子。值得注意的一点是,在drl中global RiskRecordService riskRecordService;对应决策表的写法是:variables RiskRecordService riskRecordService。通过:

File file = new File("路径+riskRule.xls");
InputStream is;
try {
is = new FileInputStream(file);
SpreadsheetCompiler converter = new SpreadsheetCompiler();
String drl = converter.compile(is, InputType.XLS);
System.out.println( drl);

} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}

可以将excel的决策表生成drl文件。


第九章:Spring无法启动。


参考我在另外网站写的两个问题:http://stackoverflow.com/questions/34916936/spring-integration-with-drools和http://stackoverflow.com/questions/34890616/kie-workbench-integration-in-spring-throw-exception

报错:

Caused by: java.lang.NoSuchMethodError: com.google.inject.Binder.bindListener(Lcom/google/inject/matcher/Matcher;[Lcom/google/inject/spi/ProvisionListener;)V    at org.eclipse.sisu.plexus.PlexusBindingModule.configure(PlexusBindingModule.java:75)    at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:223)    at com.google.inject.spi.Elements.getElements(Elements.java:101)    at com.google.inject.spi.Elements.getElements(Elements.java:92)    at org.eclipse.sisu.wire.WireModule.configure(WireModule.java:75)    at com.google.inject.spi.Elements$RecordingBinder.install(Elements.java:223)    at com.google.inject.spi.Elements.getElements(Elements.java:101)    at com.google.inject.internal.InjectorShell$Builder.build(InjectorShell.java:133)    at com.google.inject.internal.InternalInjectorCreator.build(InternalInjectorCreator.java:103)    at com.google.inject.Guice.createInjector(Guice.java:95)    at com.google.inject.Guice.createInjector(Guice.java:72)    at com.google.inject.Guice.createInjector(Guice.java:62)    at org.codehaus.plexus.DefaultPlexusContainer.addPlexusInjector(DefaultPlexusContainer.java:477)    at org.codehaus.plexus.DefaultPlexusContainer.<init>(DefaultPlexusContainer.java:203)

后面的解决方法是在pom.xml中更新:


<dependency>        <groupId>com.google.inject</groupId>        <artifactId>guice</artifactId>        <version>4.0</version>    </dependency>    <dependency>        <groupId>org.eclipse.aether</groupId>        <artifactId>aether-impl</artifactId>        <version>0.9.0.M4</version>    </dependency>


总结:使用drools框架不容易,让drools6.3与spring集成实现动态更新规则非常不容易,沿途处处陷阱,网上的资料非常稀缺,出现一个问题不折腾半天解决不了。期待drools后续的版本能够继续优化。使用drools6.3和spring的童鞋可以参考下这篇文章,少走弯路。




更多互金职场信息请关注【互金职场】




以上是关于风控系统实践之感: drools 和 redis 二的主要内容,如果未能解决你的问题,请参考以下文章

35Activiti整合规则引擎Drools

drools6.3+spring+Drools Workbench+activemq搭建风险控制系统

交易系统和风控系统的架构 use drools or not?

智能风控决策引擎系统架构设计与开发实践

京东基于Spark的风控系统架构实践和技术细节

美团外卖亿级风控实时数据仓库实践!