从标题中提取特征的垃圾邮件分类

Posted 2023-03-13

【中文标题】从标题中提取特征的垃圾邮件分类

【英文标题】：Email spam classification extracting features from header

【发布时间】：2014-08-26 21:54:19

【问题描述】：

我正在尝试构建垃圾邮件分类器。我一直在阅读一些研究论文，除了添加基于内容的功能外，我还尝试添加标题字段功能，例如密件抄送收件人、主题、发件人等的数量，但是我被困在一个特定的地方：

我需要检查发件人域地址的合法性。我是 用 R 编写我的所有代码，我不太确定如何检查 使用 R。 我也在尝试提取 X-Mailer 字段，它不是 困难的任务。然而，X-mailer 的问题在于，如果它不是 如果存在，则很好地表明该电子邮件是垃圾邮件， 然而，当垃圾邮件发送者试图混淆 X-mailer并用乱码填充它，我该如何区分 在这两种类型的数据之间 - 乱码的 X-mailer 内容和合法的 X-mailer。 类似地，我正在尝试创建如下功能：“domain_legality” 发件人域名的合法性,"date_time_legality" 创建和接收消息的日期和时间的合法性， 接收者的“IP_legality” IP 和“sender_legality”，它们是什么 不言自明。

感谢您的时间和考虑。

所以这是我正在尝试做的代码示例：

extract_header <- function(email.data)
  header.features <- data.frame(matrix(ncol = 13))
  email.regex <- "[[:alnum:].-]+@[[:alnum:].-]+" #regular expression to extract from email address
  colnames(header.features) <- c("rec_field_num_of_hops", "span_time", "domain_legality", "date_time_legality", "IP_legality", "sender_legality", "num_of_To_receivers", "num_of_CC_receivers", "num_of_BCC_receivers", "mail_agent", "email_subject", "date_received")
  for(i in 1:length(email.data))
    #extracting the email address of the sender
    header.features$sender_legality[i] = str_match(email.data[[i]]$meta$author, email.regex)

    #the subject of the email
    header.features$email_subject[i] = email.data$meta$heading

    #number of To receipients of the email
    posToField = which(!is.na(str_match(email.data[[i]]$meta$header, ignore.case("^To:"))))
    if(length(posToField) > 0)
      header.features$num_of_To_receivers[i]  = sum(str_count(email.data[[i]]$meta$header[posToField], email.regex))
    else
      header.features$num_of_To_receivers[i]  = 0

    #number of people CC in the email
    posCCField = which(!is.na(str_match(email_corpus[[i]]$meta$header, ignore.case("^Cc:"))))
    if(length(posCCField) > 0)
      header.features$num_of_CC_receivers[i] = sum(str_count(email.data[[i]]$meta$header[posCCField], email.regex))
    else
      header.features$num_of_CC_receivers[i] = 0

    #number of the Bcc people in the email
    posBccField = which(!is.na(str_match(email_corpus[[i]]$meta$header, ignore.case("^Bcc:"))))
    if(length(posBccField) > 0)
      header.features$num_of_BCC_receivers[i] = sum(str_count(email.data[[i]]$meta$header[posBccField], email.regex))
    else
      header.features$num_of_BCC_receivers[i] = 0

    #number of email servers hopped by
    header.features$rec_field_num_of_hops[i] <- sum(str_count(email_corpus[[i]]$meta$header, "^Received: from"))

  

我正在遵循研究论文中提出的方法：

可扩展的智能非基于内容的垃圾邮件过滤框架 识别对垃圾邮件过滤可能有用的电子邮件标题功能

我需要检查电子邮件的发件人是否是合法发件人，这样做的原因是大多数时候垃圾邮件发送者会欺骗他们的电子邮件地址，而这一特殊功能有助于识别电子邮件是否为垃圾邮件.

标题：

From [e-mail]  Tue Oct  8 10:56:20 2002
Return-Path: <[e-mail]>
Delivered-To: [e-mail]
Received: from localhost (jalapeno [127.0.0.1])
    by example.com (Postfix) with ESMTP id 79DB116F16
    for <zzzz@localhost>; Tue,  8 Oct 2002 10:56:20 +0100 (IST)
Received: from jalapeno [127.0.0.1]
    by localhost with IMAP (fetchmail-5.9.0)
    for zzzz@localhost (single-drop); Tue, 08 Oct 2002 10:56:20 +0100 (IST)
Received: from egwn.net (ns2.egwn.net [193.172.5.4]) by
    dogma.slashnull.org (8.11.6/8.11.6) with ESMTP id g988mPK07565 for
    <[e-mail]>; Tue, 8 Oct 2002 09:48:25 +0100
Received: from auth02.nl.egwn.net (localhost [127.0.0.1]) by egwn.net
    (8.11.6/8.11.6/EGWN) with ESMTP id g988i1f16827; Tue, 8 Oct 2002 10:44:02
    +0200
Received: from chip.ath.cx (cs146114.pp.htv.fi [213.243.146.114]) by
    egwn.net (8.11.6/8.11.6/EGWN) with ESMTP id g988hGf13093 for
    <[e-mail]>; Tue, 8 Oct 2002 10:43:16 +0200
Received: from chip.ath.cx (localhost [127.0.0.1]) by chip.ath.cx
    (8.12.5/8.12.2) with ESMTP id g988hASA018848 for <[e-mail]>;
    Tue, 8 Oct 2002 11:43:10 +0300
Received: from localhost (pmatilai@localhost) by chip.ath.cx
    (8.12.5/8.12.5/Submit) with ESMTP id g988h9j2018844 for
    <[e-mail]>; Tue, 8 Oct 2002 11:43:10 +0300
X-Authentication-Warning: chip.ath.cx: pmatilai owned process doing -bs
From: Panu Matilainen <[e-mail]>
X-X-Sender: [e-mail]
To: [e-mail]
Subject: Re: a problem with apt-get
In-Reply-To: <[e-mail]>
Message-Id: <[e-mail]>
MIME-Version: 1.0
Content-Type: TEXT/PLAIN; charset=US-ASCII
X-Mailscanner: Found to be clean, Found to be clean
Sender: [e-mail]
Errors-To: [e-mail]
X-Beenthere: [e-mail]
X-Mailman-Version: 2.0.11
Precedence: bulk
Reply-To: [e-mail]
List-Help: <mailto:[e-mail]?subject=help>
List-Post: <mailto:[e-mail]>
List-Subscribe: <http://lists.freshrpms.net/mailman/listinfo/rpm-zzzlist>,
    <mailto:[e-mail]?subject=subscribe>
List-Id: Freshrpms RPM discussion list <rpm-zzzlist.freshrpms.net>
List-Unsubscribe: <http://lists.freshrpms.net/mailman/listinfo/rpm-zzzlist>,
    <mailto:[e-mail]?subject=unsubscribe>
List-Archive: <http://lists.freshrpms.net/pipermail/rpm-zzzlist/>
X-Original-Date: Tue, 8 Oct 2002 11:43:09 +0300 (EEST)
Date: Tue, 8 Oct 2002 11:43:09 +0300 (EEST)

我希望这些额外的细节能有所帮助。谢谢你的帮助:)。

【问题讨论】：

现在这是一个非常广泛的问题，其中只有部分与 R 中的编程直接相关。关于方法的方法被认为是本网站的主题。我会编辑您的问题，以明确您在 R 中遇到的编程挑战。至于如何改进分类，这并不是真正的编程特定的，可能更好地属于不同的站点，例如 Data Science 或 Computational Science。

@1：您要检查什么 - MAIL FROM 域是否存在，是否有 MX RR，回调验证，...？要进行 dns 查找，您可能需要从 R 中调用 nslookup.exe。@2：垃圾邮件发送者如何混淆它？在超过 60% 的业余电子邮件中也没有 X-Mailer。 @3：例如，检查Sys.time() - receivedDateTime 以查看日期是否为将来。一般来说，我不清楚你到底想要什么。

PS：提供标头+代码示例以阐明它。

我添加了一些额外的细节来展示我正在尝试做的事情，感谢您的建议和帮助:)。

【参考方案1】：

这个问题很笼统，但我会尝试提供一些建议。

首先，您应该考虑分层构建分类器。即：构建单独的分类器来处理特定问题，例如日期、x-mailer 等各种参数的合法性。

在每个子分类器的上下文中，您将能够比同时解决所有这些问题更容易地使用领域知识和调试代码。

例如，让我们专注于将乱码文本与合法的 X 邮件分开。

查看一堆示例，您可能会获得一些关于要查找什么来识别垃圾的见解。例如：字段长度、字符分布（对于乱码可能更均匀）、已知有效 x-mailer 列表等。

基于这些见解，您可以为此构建分类器：提取相关特征、训练、测试等。

在您满意地解决此问题后，您可以将此分类器的输出用作更通用的垃圾邮件过滤器的输入。如果你这样做，最好让这个子分类器提取一个数字的置信度度量，而不仅仅是一个布尔值，这样一般分类器就会有更多的信息来决定。

此时的另一个选择是将您发现有效的特征添加到更通用分类器的特征集中，并让它与其他特征一起使用它们进行分类。

这种方法可能会更好地解决您的功能之间更复杂的交互。

【讨论】：

感谢您的建议，这种方法可以正确看待问题。非常感谢。

所以我试图在电子邮件中搜索合法和乱码的 X-Mailer，我发现有一些 X-Mailer 作为 X-Mailer: Microsoft Outlook Express 6.00.2900.2180 是完美的正版但是有一些 X-Mailer 为 X-Mailer: Envex Developments 或 X-Mailer: Accucast (accucast.com) 或 X-Mailer: T7ZMpb0XnYxUD1AjuR130Qf4Dapf。现在这三个 X-Mailer 都是非法的，那么我应该如何将它们与合法的 X-Mailer 区分开来，任何建议都非常有帮助。我试图在互联网上搜索合法的 X-Mailers 列表，但没有运气。

你怎么知道这三个是非法的？您可以尝试使用相同的逻辑进行自动过滤。无论如何，我还建议阅读有关该主题的更多信息。例如本文policypatrol.com/white-papers/… 建议不要使用x-mailer 字段，这里***.com/questions/16584117/… 也表示为弱指标。另外，请参见此处：groups.google.com/forum/#!topic/comp.mail.headers/M2eEV9SzCGc