本篇内容介绍了“IV基础概念是什么”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
10年积累的网站设计、成都做网站经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先制作网站后付款的网站建设流程,更有中原免费网站建设让你可以放心的选择与我们合作。
IV:
<0.03:无预测能力
0.03-0.09:弱
0.1-0.29:中等
0.3-0.49:高
0.5:极高
但是IV不是越高越好的,当IV>1.2时候,可能分箱不好或者存在因果倒置关系
from numpy import log
from pandas import DataFrame as df
import pandas as pd
def createDateset():
dataSet=[
[0, 1, 0],
[0, 0, 0],
[0, 1, 0],
[1, 0, 1],
[1, 0, 0],
[1, 1, 1],
[0, 1, 1],
[1, 1, 1],
[1, 0, 1],
[1, 0, 1]]
return dataSet
def calcWOE(dataset,col,targe):
subdata=df(dataset.groupby(col)[col].count())
suby=df(dataset.groupby(col)[targe].sum())
data=df(pd.merge(subdata,suby,how="left",left_index=True,right_index=True))
b_total=data[targe].sum()
total=data[col].sum()
g_total=total-b_total
data["bad"]=data.apply(lambda x:round(x[targe]/b_total,3),axis=1)
data["good"]=data.apply(lambda x:round((x[col]-x[targe])/g_total,3),axis=1)
data["WOE"]=data.apply(lambda x:log(x.bad/x.good),axis=1)
return data.loc[:,["bad","good","WOE"]]
def calcIV(dataset):
dataset["IV"]=dataset.apply(lambda x:(x.bad-x.good)*x.WOE,axis=1)
IV=sum(dataset["IV"])
return IV
if __name__ == '__main__':
data=createDateset()
print(data)
data=df(data,columns=["x1","x2","y"])
print(data)
data_WOE=calcWOE(data,"x2","y")
print(data_WOE)
data_IV=calcIV(data_WOE)
print(data_IV)
IV的极端情况以及处理方式
IV依赖WOE,并且IV是一个很好的衡量自变量对目标变量影响程度的指标。但是,使用过程中应该注意一个问题:变量的任何分组中,不应该出现响应数=0或非响应数=0的情况。
原因很简单,当变量一个分组中,响应数=0时,
此时对应的IVi为+∞。
而当变量一个分组中,没有响应的数量 = 0时,
此时的IVi为+∞。
IVi无论等于负无穷还是正无穷,都是没有意义的。
由上述问题我们可以看到,使用IV其实有一个缺点,就是不能自动处理变量的分组中出现响应比例为0或100%的情况。那么,遇到响应比例为0或者100%的情况,我们应该怎么做呢?建议如下:
(1)如果可能,直接把这个分组做成一个规则,作为模型的前置条件或补充条件;
(2)重新对变量进行离散化或分组,使每个分组的响应比例都不为0且不为100%,尤其是当一个分组个体数很小时(比如小于100个),强烈建议这样做,因为本身把一个分组个体数弄得很小就不是太合理。
(3)如果上面两种方法都无法使用,建议人工把该分组的响应数和非响应的数量进行一定的调整。如果响应数原本为0,可以人工调整响应数为1,如果非响应数原本为0,可以人工调整非响应数为1.
“IV基础概念是什么”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!
网站标题:IV基础概念是什么
本文网址:http://lswzjz.com/article/pcjees.html