数据离散化-分箱

Posted 2020-11-25 jing-yan

  变量的延申和筛选-连续变量离散化-特征筛选

   WOE编码(最优分箱) 

   WOE一般在0.1~3之间波动,IV值做得特征筛选的操作 一般保留>0.03的特征 IV值体现的时X和Y之间的显著性进行筛选

1.逐列分箱并获得IV值

# 运行自定义函数所在文件    对自定义分箱文件要自己理解
%run smob.py

# y进行0，1互换
train_data[‘SeriousDlqin2yrs‘]  = -(train_data.SeriousDlqin2yrs-1) #因为与自定义函数中的标签0 1设定正好相反

# 定义y的名字
y = ‘SeriousDlqin2yrs‘ #标签列的名字

# 初始化IV值的对象
# 贷款以及信用卡可用额度占比
RUO = smbin(train_data,y,‘RevolvingUtilizationOfUnsecuredLines‘);

# 越高WOE值越大 
# 如果觉得分箱的箱子数太多 可以设置 max_bin=  参数  看看能不能把两个WOE值较小的合并

#查看结果数据
RUO.IVtable

#查看遍历方式(一般不看)
print(RUO.Tree_structure)

#查看IV值
RUO.IV

# 保存IV值 第一个特征值
iv_all = pd.Series()
iv_all = iv_all.append(pd.Series({‘RevolvingUtilizationOfUnsecuredLines‘:RUO.IV}))

#age分箱并保存iv值
age = smbin(train_data,y,‘age‘)

age.IVtable

iv_all = iv_all.append(pd.Series({‘age‘:age.IV}))

#除标签外把所有特征都来一边

#查看某一变量分享后的基于标签的箱型图
train_data.boxplot(column = [‘NumberOfTimes90DaysLate‘],by=[y])

也可以所有特征,循环分箱

iv_all = pd.Series()
for i in train_data.columns[1:]:
    # 贷款以及信用卡可用额度占比
#     R=i.upper()
    R= smbin(train_data,y,i);
    iv_all = iv_all.append(pd.Series({i:R.IV}))
iv_all

 

2.查看所有变量的IV值

iv_all.sort_values(ascending=False) #小于0.03的可以考虑筛选掉
#直方图
iv_all.sort_values().plot(kind=‘barh‘)

3.WOE转换(WOE编码)，通过生成的分箱和WOE数据

# smbin和smbin_cu得到IV值筛选后，放在一个表中
x_list = [RUO,age,NO3059,DebtRatio,MonthlyIncome,NOO,NO90,NRE,NO6089,NOD]

data_woe = smgen(train_data,x_list)
data_woe.head()

 4.数据集转换(确定X Y)--转换后的数据

1. 抽取WOE列作为预测数据X
2. 如果用的是statsmodel的回归模型，加常数项
3. 抽取相应列作为y

import statsmodels.api as sm

X = data_woe.iloc[:,-len(x_list):]
X = sm.add_constant(X)          #增加常数列

Y = data_woe[y]   #y是标签列名称

接下来是数据集切分了...