Python计算IV值的示例讲解

2023-07-31 11:29:04 71

在对变量分箱后，需要计算变量的重要性，IV是评估变量区分度或重要性的统计量之一，python计算IV值的代码如下：

defCalcIV(Xvar,Yvar):
N_0=np.sum(Yvar==0)
N_1=np.sum(Yvar==1)
N_0_group=np.zeros(np.unique(Xvar).shape)
N_1_group=np.zeros(np.unique(Xvar).shape)
foriinrange(len(np.unique(Xvar))):
N_0_group[i]=Yvar[(Xvar==np.unique(Xvar)[i])&(Yvar==0)].count()
N_1_group[i]=Yvar[(Xvar==np.unique(Xvar)[i])&(Yvar==1)].count()
iv=np.sum((N_0_group/N_0-N_1_group/N_1)*np.log((N_0_group/N_0)/(N_1_group/N_1)))
returniv

defcaliv_batch(df,Kvar,Yvar):
df_Xvar=df.drop([Kvar,Yvar],axis=1)
ivlist=[]
forcolindf_Xvar.columns:
iv=CalcIV(df[col],df[Yvar])
ivlist.append(iv)
names=list(df_Xvar.columns)
iv_df=pd.DataFrame({'Var':names,'Iv':ivlist},columns=['Var','Iv'])

returniv_df

其中，df是分箱后的数据集，Kvar是主键，Yvar是y变量(0是好，1是坏)。

代码运行结果如下：

补充拓展：python基础IV(切片、迭代、生成列表)

对list进行切片

取一个list的部分元素是非常常见的操作。比如，一个list如下：

>>>L=['Adam','Lisa','Bart','Paul']

取前3个元素，应该怎么做？

笨办法：

>>>[L[0],L[1],L[2]]
['Adam','Lisa','Bart']

之所以是笨办法是因为扩展一下，取前N个元素就没辙了。

取前N个元素，也就是索引为0-(N-1)的元素，可以用循环：

>>>r=[]
>>>n=3
>>>foriinrange(n):
...r.append(L[i])
...
>>>r
['Adam','Lisa','Bart']

对这种经常取指定索引范围的操作，用循环十分繁琐，因此，Python提供了切片（Slice）操作符，能大大简化这种操作。

对应上面的问题，取前3个元素，用一行代码就可以完成切片：

>>>L[0:3]
['Adam','Lisa','Bart']

L[0:3]表示，从索引0开始取，直到索引3为止，但不包括索引3。即索引0，1，2，正好是3个元素。

如果第一个索引是0，还可以省略：

>>>L[:3]
['Adam','Lisa','Bart']

也可以从索引1开始，取出2个元素出来：

>>>L[1:3]
['Lisa','Bart']

只用一个:，表示从头到尾：

>>>L[:]
['Adam','Lisa','Bart','Paul']

因此，L[:]实际上复制出了一个新list。

切片操作还可以指定第三个参数：

>>>L[::2]
['Adam','Bart']

第三个参数表示每N个取一个，上面的L[::2]会每两个元素取出一个来，也就是隔一个取一个。

把list换成tuple，切片操作完全相同，只是切片的结果也变成了tuple。

倒序切片

对于list，既然Python支持L[-1]取倒数第一个元素，那么它同样支持倒数切片，试试：

>>>L=['Adam','Lisa','Bart','Paul']

>>>L[-2:]
['Bart','Paul']

>>>L[:-2]
['Adam','Lisa']

>>>L[-3:-1]
['Lisa','Bart']

>>>L[-4:-1:2]
['Adam','Bart']

记住倒数第一个元素的索引是-1。倒序切片包含起始索引，不包含结束索引。

对字符串切片

字符串'xxx'和Unicode字符串u'xxx'也可以看成是一种list，每个元素就是一个字符。因此，字符串也可以用切片操作，只是操作结果仍是字符串：

>>>'ABCDEFG'[:3]
'ABC'
>>>'ABCDEFG'[-3:]
'EFG'
>>>'ABCDEFG'[::2]
'ACEG'

在很多编程语言中，针对字符串提供了很多各种截取函数，其实目的就是对字符串切片。Python没有针对字符串的截取函数，只需要切片一个操作就可以完成，非常简单。

什么是迭代

在Python中，如果给定一个list或tuple，我们可以通过for循环来遍历这个list或tuple，这种遍历我们成为迭代（Iteration）。

在Python中，迭代是通过for...in来完成的，而很多语言比如C或者Java，迭代list是通过下标完成的，比如Java代码：

for(i=0;i
可以看出，Python的for循环抽象程度要高于Java的for循环。
因为Python的for循环不仅可以用在list或tuple上，还可以作用在其他任何可迭代对象上。
因此，迭代操作就是对于一个集合，无论该集合是有序还是无序，我们用for循环总是可以依次取出集合的每一个元素。
注意:集合是指包含一组元素的数据结构，我们已经介绍的包括：


1.有序集合：list，tuple，str和unicode；


2.无序集合：set


3.无序集合并且具有key-value对：dict

而迭代是一个动词，它指的是一种操作，在Python中，就是for循环。
迭代与按下标访问数组最大的不同是，后者是一种具体的迭代实现方式，而前者只关心迭代结果，根本不关心迭代内部是如何实现的。
索引迭代


Python中，迭代永远是取出元素本身，而非元素的索引。
对于有序集合，元素确实是有索引的。有的时候，我们确实想在for循环中拿到索引，怎么办？
方法是使用enumerate()函数：
>>>L=['Adam','Lisa','Bart','Paul']
>>>forindex,nameinenumerate(L):
...printindex,'-',name
...
0-Adam
1-Lisa
2-Bart
3-Paul
使用enumerate()函数，我们可以在for循环中同时绑定索引index和元素name。但是，这不是enumerate()的特殊语法。实际上，enumerate()函数把：

['Adam','Lisa','Bart','Paul']



变成了类似：

[(0,'Adam'),(1,'Lisa'),(2,'Bart'),(3,'Paul')]



因此，迭代的每一个元素实际上是一个tuple：
fortinenumerate(L):
index=t[0]
name=t[1]
printindex,'-',name
如果我们知道每个tuple元素都包含两个元素，for循环又可以进一步简写为：

forindex,nameinenumerate(L):

printindex,'-',name



这样不但代码更简单，而且还少了两条赋值语句。
可见，索引迭代也不是真的按索引访问，而是由enumerate()函数自动把每个元素变成(index,element)这样的tuple，再迭代，就同时获得了索引和元素本身。
迭代dict的value


我们已经了解了dict对象本身就是可迭代对象，用for循环直接迭代dict，可以每次拿到dict的一个key。
如果我们希望迭代dict对象的value，应该怎么做？
dict对象有一个values()方法，这个方法把dict转换成一个包含所有value的list，这样，我们迭代的就是dict的每一个value：
d={'Adam':95,'Lisa':85,'Bart':59}
printd.values()
#[85,95,59]
forvind.values():
printv
#85
#95
#59

如果仔细阅读Python的文档，还可以发现，dict除了values()方法外，还有一个itervalues()方法，用itervalues()方法替代values()方法，迭代效果完全一样：
d={'Adam':95,'Lisa':85,'Bart':59}
printd.itervalues()
#
forvind.itervalues():
printv
#85
#95
#59
那这两个方法有何不同之处呢？
1.values()方法实际上把一个dict转换成了包含value的list。
2.但是itervalues()方法不会转换，它会在迭代过程中依次从dict中取出value，所以itervalues()方法比values()方法节省了生成list所需的内存。
3.打印itervalues()发现它返回一个对象，这说明在Python中，for循环可作用的迭代对象远不止list，tuple，str，unicode，dict等，任何可迭代对象都可以作用于for循环，而内部如何迭代我们通常并不用关心。
如果一个对象说自己可迭代，那我们就直接用for循环去迭代它，可见，迭代是一种抽象的数据操作，它不对迭代对象内部的数据有任何要求。
迭代dict的key和value


我们了解了如何迭代dict的key和value，那么，在一个for循环中，能否同时迭代key和value？答案是肯定的。
首先，我们看看dict对象的items()方法返回的值：
>>>d={'Adam':95,'Lisa':85,'Bart':59}
>>>printd.items()
[('Lisa',85),('Adam',95),('Bart',59)]
可以看到，items()方法把dict对象转换成了包含tuple的list，我们对这个list进行迭代，可以同时获得key和value：
>>>forkey,valueind.items():
...printkey,':',value
...
Lisa:85
Adam:95
Bart:59

和values()有一个itervalues()类似，items()也有一个对应的iteritems()，iteritems()不把dict转换成list，而是在迭代过程中不断给出tuple，所以，iteritems()不占用额外的内存。
生成列表


要生成list[1,2,3,4,5,6,7,8,9,10]，我们可以用range(1,11)：

>>>range(1,11)

[1,2,3,4,5,6,7,8,9,10]



但如果要生成[1x1,2x2,3x3,...,10x10]怎么做？方法一是循环：
>>>L=[]
>>>forxinrange(1,11):
...L.append(x*x)
...
>>>L
[1,4,9,16,25,36,49,64,81,100]
但是循环太繁琐，而列表生成式则可以用一行语句代替循环生成上面的list：
>>>[x*xforxinrange(1,11)]
[1,4,9,16,25,36,49,64,81,100]
这种写法就是Python特有的列表生成式。利用列表生成式，可以以非常简洁的代码生成list。
写列表生成式时，把要生成的元素x*x放到前面，后面跟for循环，就可以把list创建出来，十分有用，多写几次，很快就可以熟悉这种语法。
复杂表达式


使用for循环的迭代不仅可以迭代普通的list，还可以迭代dict。
假设有如下的dict：

d={'Adam':95,'Lisa':85,'Bart':59}



完全可以通过一个复杂的列表生成式把它变成一个HTML表格：
tds=['%s%s'%(name,score)forname,scoreind.iteritems()]
print''
print''
print'\n'.join(tds)
print'Name Score
'

注：字符串可以通过%进行格式化，用指定的参数替代%s。字符串的join()方法可以把一个list拼接成一个字符串。
条件过滤


列表生成式的for循环后面还可以加上if判断。例如：

>>>[x*xforxinrange(1,11)]

[1,4,9,16,25,36,49,64,81,100]



如果我们只想要偶数的平方，不改动range()的情况下，可以加上if来筛选：

>>>[x*xforxinrange(1,11)ifx%2==0]

[4,16,36,64,100]



有了if条件，只有if判断为True的时候，才把循环的当前元素添加到列表中。
多层表达式


for循环可以嵌套，因此，在列表生成式中，也可以用多层for循环来生成列表。
对于字符串'ABC'和'123'，可以使用两层循环，生成全排列：

>>>[m+nformin'ABC'fornin'123']

['A1','A2','A3','B1','B2','B3','C1','C2','C3']



翻译成循环代码就像下面这样：
L=[]
formin'ABC':
fornin'123':
L.append(m+n)
以上这篇Python计算IV值的示例讲解就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

Python计算IV值的示例讲解

热门推荐

随机推荐