Python中的欺诈检测
欺诈确实涉及许多交易。我们可以将机器学习算法应用于过去的数据，并预测交易是欺诈交易的可能性。在我们的示例中，我们将进行信用卡交易，分析数据，创建功能和标签，最后应用一种机器学习算法来判断交易的性质是否为欺诈。然后，我们将找出所选择模型的准确性，精度和f分数。
准备数据
在这一步中，我们读取源数据，研究其中存在的变量，并查看一些示例数据。这将帮助我们了解数据集中存在的不同列并研究其功能。我们将使用Pandasislibrary创建数据框，该数据框将在后续步骤中使用。
示例
import pandas as pd
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#https://www.kaggle.com/mlg-ulb/creditcardfraud
# Print the top 5 records
print(datainput[0:5],"\n")
# Print the complete shape of the dataset
print("Shape of Complete Data Set")
print(datainput.shape,"\n")输出结果
运行上面的代码给我们以下结果-
Time V1 V2 V3 ... V27 V28 Amount Class 0 0.0 -1.359807 -0.072781 2.536347 ... 0.133558 -0.021053 149.62 0 1 0.0 1.191857 0.266151 0.166480 ... -0.008983 0.014724 2.69 0 2 1.0 -1.358354 -1.340163 1.773209 ... -0.055353 -0.059752 378.66 0 3 1.0 -0.966272 -0.185226 1.792993 ... 0.062723 0.061458 123.50 0 4 2.0 -1.158233 0.877737 1.548718 ... 0.219422 0.215153 69.99 0 [5 rows x 31 columns] Shape of Complete Data Set (284807, 31)
检查数据不平衡
现在，我们检查数据如何在欺诈性交易和真实交易之间分配。这使我们对预期有百分之几的数据被欺诈的想法。在ml算法中，这称为数据不平衡。如果大多数交易不是欺诈性的，则很难判断很少的交易是真实交易。我们使用类列来计算交易中欺诈引擎的数量，然后计算出欺诈交易的实际百分比。
示例
import pandas as pd
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
false = datainput[datainput['Class'] == 1]
true = datainput[datainput['Class'] == 0]
n = len(false)/float(len(true))
print(n)
print('False Detection Cases: {}'.format(len(datainput[datainput['Class'] == 1])))
print('True Detection Cases: {}'.format(len(datainput[datainput['Class'] == 0])),"\n")输出结果
运行上面的代码给我们以下结果-
0.0017304750013189597 False Detection Cases: 492 True Detection Cases: 284315
交易类型明细
我们将进一步调查每种欺诈和非欺诈交易的交易性质。我们尝试统计地估计各种参数，例如平均标准偏差最大值，最小值和不同的百分位数。这通过使用所描述的方法来实现。
示例
import pandas as pd
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#Check for imbalance in data
false = datainput[datainput['Class'] == 1]
true = datainput[datainput['Class'] == 0]
#False Detection Cases
print("False Detection Cases")
print("----------------------")
print(false.Amount.describe(),"\n")
#True Detection Cases
print("True Detection Cases")
print("----------------------")
print(true.Amount.describe(),"\n")输出结果
运行上面的代码给我们以下结果-
False Detection Cases ---------------------- count 492.000000 mean 122.211321 std 256.683288 min 0.000000 25% 1.000000 50% 9.250000 75% 105.890000 max 2125.870000 Name: Amount, dtype: float64 True Detection Cases ---------------------- count 284315.000000 mean 88.291022 std 250.105092 min 0.000000 25% 5.650000 50% 22.000000 75% 77.050000 max 25691.160000 Name: Amount, dtype: float64
分隔功能和标签
在实施ML算法之前，我们需要确定功能和标签。这基本上意味着对因变量和独立变量进行分类。在我们的数据集中，类列取决于所有其他列的其余部分。因此，我们为最后一列创建一个数据框，并为所有其他列的其余部分创建另一个数据框。这些数据框将用于训练我们将要创建的模型。
示例
import pandas as pd
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#separating features(X) and label(y)
# Select all columns except the last for all rows
X = datainput.iloc[:, :-1].values
# Select the last column of all rows
Y = datainput.iloc[:, -1].values
print(X.shape)
print(Y.shape)输出结果
运行上面的代码给我们以下结果-
(284807, 30) (284807,)
训练模型
现在，我们将数据集分为两部分。一个用于培训，另一个用于测试。test_size参数用于确定将仅用于测试的数据集的百分比。此练习将帮助我们对正在创建的模型充满信心。
示例
import pandas as pd
from sklearn.model_selection import train_test_split
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#separating features(X) and label(y)
X = datainput.iloc[:, :-1].values
# Select the last column of all rows
Y = datainput.iloc[:, -1].values
#train_test_split method
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2)应用决策树分类
有许多不同种类的算法可用于这种情况。但是我们选择决策树作为我们的分类算法。最大树深度为4，并提供测试样本以预测值。最后，我们计算测试结果的准确性，以决定是否继续使用该算法。
示例
import pandas as pd
from sklearn import metrics
from sklearn.model_selection import train_test_split
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#separating features(X) and label(y)
X = datainput.iloc[:, :-1].values
Y = datainput.iloc[:, -1].values
#train_test_split method
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2)
#DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
classifier=DecisionTreeClassifier(max_depth=4)
classifier.fit(X_train,Y_train)
predicted=classifier.predict(X_test)
print("\npredicted values :\n",predicted)
#Accuracy
DT = metrics.accuracy_score(Y_test, predicted) * 100
print("\nThe accuracy score using the DecisionTreeClassifier : ",DT)输出结果
运行上面的代码给我们以下结果-
predicted values : [0 0 0 ... 0 0 0] The accuracy score using the DecisionTreeClassifier : 99.9367999719111
查找评估参数
一旦上述步骤中的精度水平可以接受，我们将通过找出不同的参数对模型进行进一步评估。其中使用精度，召回值和F得分作为我们的参数。精度是相关实例在检索到的实例中所占的比例，而召回率是实际检索到的相关实例的总量中所占的比例。F得分提供了一个单一得分，可以在一个数字中兼顾精度和召回率。
示例
import pandas as pd
from sklearn import metrics
from sklearn.model_selection import train_test_split
from sklearn.metrics import precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import f1_score
#Load the creditcard.csv using pandas
datainput = pd.read_csv('E:\\creditcard.csv')
#separating features(X) and label(y)
X = datainput.iloc[:, :-1].values
Y = datainput.iloc[:, -1].values
#train_test_split method
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2)
#DecisionTreeClassifier
from sklearn.tree import DecisionTreeClassifier
classifier=DecisionTreeClassifier(max_depth=4)
classifier.fit(X_train,Y_train)
predicted=classifier.predict(X_test)
print("\npredicted values :\n",predicted)
#
# #Accuracy
DT = metrics.accuracy_score(Y_test, predicted) * 100
print("\nThe accuracy score using the DecisionTreeClassifier : ",DT)
#
# #Precision
print('precision')
# Precision = TP / (TP + FP) (Where TP = True Positive, TN = True Negative, FP = False Positive, FN = False Negative).
precision = precision_score(Y_test, predicted, pos_label=1)
print(precision_score(Y_test, predicted, pos_label=1))
#Recall
print('recall')
# Recall = TP / (TP + FN)
recall = recall_score(Y_test, predicted, pos_label=1)
print(recall_score(Y_test, predicted, pos_label=1))
#f1-score
print('f-Score')
# F - scores are a statistical method for determining accuracy accounting for both precision and recall.
fscore = f1_score(Y_test, predicted, pos_label=1)
print(f1_score(Y_test, predicted, pos_label=1))输出结果
运行上面的代码给我们以下结果-
The accuracy score using the DecisionTreeClassifier : 99.9403110845827 precision 0.810126582278481 recall 0.7710843373493976 f-Score 0.7901234567901234