垃圾邮件过滤器 - Python 新手

Posted 2023-03-12

【中文标题】垃圾邮件过滤器 - Python 新手

【英文标题】：Spam Filter - Python newbie

【发布时间】：2019-09-19 09:54:10

【问题描述】：

所以我的任务是在 Python 中为电子邮件数据集创建分类算法：https://archive.ics.uci.edu/ml/datasets/spambase

我需要能够处理数据集，应用我的分类算法（我选择了 3 个朴素贝叶斯版本），将准确度分数打印到终端并执行 5 或 10 倍交叉验证并找出有多少电子邮件垃圾邮件。

如您所见，我已经完成了一些任务，但错过了交叉验证并找出有多少电子邮件是垃圾邮件。

import numpy as np
import pandas as pd 

import sklearn   
from sklearn.naive_bayes import BernoulliNB
from sklearn.naive_bayes import GaussianNB
from sklearn.naive_bayes import MultinomialNB
from sklearn.model_selection import train_test_split

from sklearn import metrics
from sklearn.metrics import accuracy_score

# Read data
dataset = pd.read_csv('dataset.csv').values

# What shuffle does? How it helps?
np.random.shuffle(dataset)


X = dataset[ : , :48 ]
Y = dataset[ : , -1 ]

X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = .33, random_state = 17)

# Bernoulli Naive Bayes
BernNB = BernoulliNB(binarize = True)
BernNB.fit(X_train, Y_train)
y_expect = Y_test
y_pred = BernNB.predict(X_test)   
print ("Bernoulli Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Multinomial Naive Bayes
MultiNB = MultinomialNB()
MultiNB.fit(X_train, Y_train)
y_pred = MultiNB.predict(X_test)
print ("Multinomial Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Gaussian Naive Bayes
GausNB = GaussianNB()
GausNB.fit(X_train, Y_train)
y_pred = GausNB.predict(X_test)
print ("Gaussian Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

# Bernoulli ALTERED Naive Bayes
BernNB = BernoulliNB(binarize = 0.1)
BernNB.fit(X_train, Y_train)
y_expect = Y_test
y_pred = BernNB.predict(X_test)   
print ("Bernoulli 'Altered' Accuracy Score: ")
print (accuracy_score(y_expect, y_pred))

我已经研究过交叉验证并认为我现在可以应用它，但它会找出有多少电子邮件是我不理解的垃圾邮件？？？我有不同的 navie bayes 版本的准确性，但我实际上如何找到垃圾邮件的数量？最后一列是 1 或 0，它定义了它是否是垃圾邮件？所以我不知道该怎么做

【问题讨论】：

我对您要问的内容感到困惑。 y_true 的计数，其中 spam==1 是实际垃圾邮件的数量，y_predicted 的计数，其中 spam==1 是预测的垃圾邮件的数量

y_true == 1 在哪里？我是 python 和分类算法的新手，所以我很了解它。目前我所理解的程序要做的就是为每种朴素贝叶斯类型获取准确度分数。

我想知道的是如何计算垃圾邮件的数量？

在您的情况下，您的真实 y 标签似乎存储为 y_expect，而您的预测 y 值是 y_pred。我的困惑是：您是否想知道您的测试集中有多少 实际 垃圾邮件？ y_expect.sum()。根据您的测试功能，您将多少封电子邮件预测为垃圾邮件？ y_pred.sum()。你有多少错误分类？那将是@mujjiga 在下面的答案。

我更困惑的是准确度分数到底是多少。从下面的答案中，我认为它是正确分类的电子邮件的准确性。但肯定不能指望我找出整个数据集中有多少实际垃圾邮件？假设数据集中的所有内容都是正确的

【参考方案1】：

由于您的类别标签 1 表示垃圾邮件，因此您使用 accuracy_score 计算的准确度值将为您提供正确识别为垃圾邮件的垃圾邮件数量。例如，90% 的测试准确率意味着 100 封测试垃圾邮件中有 90 封被正确分类为垃圾邮件。

使用sklearn.metrics.confusion_matrix(y_expect, y_pred) 进行个别班级级别细分。

sklearn Doc

例如：

如果y_expect = [1,1,0,0,1] 这意味着您的测试数据中有 3 封垃圾邮件和 2 封非垃圾邮件，如果 y_pred = [1,1,1,0,1] 则意味着您的模型已正确检测到 3 封垃圾邮件，但也将 1 封非垃圾邮件检测为垃圾邮件。

【讨论】：

对，我和你在一起，我现在明白了。如此现实，当我在简报中说“找出垃圾邮件的数量”时，我真的无法确切知道？

'find the number of spam emails（在测试数据中）通常意味着找到您的模型能够正确检测垃圾邮件的能力。它衡量您的模型有多好，以便您可以看到哪个模型在检测垃圾邮件方面表现良好（再次在测试数据上）。但我们假设如果它在测试数据上表现良好，那么它在看不见的数据上也会表现良好。