神经网络在日志文件数据中的应用

Posted 2023-03-12

【中文标题】神经网络在日志文件数据中的应用

【英文标题】：Application of neural network for use with log file data

【发布时间】：2016-02-02 21:49:05

【问题描述】：

我一直在关注 Andrew NG 的 coursera AI 课程，特别是关于神经网络的部分，我正计划在日志文件数据上实施神经网络。

我的日志文件包含这种类型的数据：

<IP OF MACHINE INITIATING REQUEST><DATE OF REQUEST><TIME OF REQUEST><NAME OF RESOUCE BEING ACCESSED ON SERVER><RESPONSE CODE><TIME TAKEN FOR SERVER TO SERVE PAGE>

我知道还有其他分类算法可用于此任务，例如 naïve bayes 和 local outlier factor，但我想通过现实世界中的适用问题接触神经网络。

我已经阅读了有关神经网络自组织图的信息，这似乎更适合此类问题，因为日志文件没有任何结构，但似乎是一个更高级的主题。

我计划不使用自组织映射神经网络，而是通过将数据分组到键值对中来从日志文件数据创建训练数据，其中键是 <IP OF MACHINE INITIATING REQUEST>，每个键的值是 @987654325 @

根据上面的日志文件数据，我打算使用神经网络：

To classify similar IP behaviors based on what resources are being accessed. 
Classify behavior at specific periods / moments in time, so what IP’s are behaving similarly and specific moment in time. 

我不知道从哪里开始。我已经实现了执行整数运算的非常基本的神经网络，但现在想根据我拥有的数据实现一个有用的网络。

基于日志数据格式，这是一个好的用例吗？

任何关于在哪里完成此任务的指针？

我希望这个问题不要太笼统，我只是不确定在开始实施神经网络时要考虑哪些问题。

更新：

我想输出最适合从神经网络生成的数据。

为此，我认为根据相似度得分输出基于时间段的用户分类。

为了生成相似度分数，我可以生成每个 IP 地址访问资源的次数：

例如：

1.2.3.A,4,3,1
1.2.3.B,0,1,2
1.2.3.C,3,7,3

由此生成：

<HOUR OF DAY>,<IP ADDRESS X>,<IP ADDRESS Y>,<SIMMILARITY SCORE>

：

1,1.2.3.A,1.2.3.B,.3
1,1.2.3.C,1.2.3.B,.2
1,1.2.3.B,1.2.3.B,0
2,1.2.3.D,1.2.3.B,.764
2,1.2.3.E,1.2.3.B,.332
3,1.2.3.F,1.2.3.B,.631

然后可以开始关联用户在一天中的行为。

适用于神经网络吗？

我意识到我在询问寻找问题的神经网络，但这是一个合适的问题吗？

【问题讨论】：

你想要神经网络输出什么？

@Felipe Oriani 请查看问题更新

【参考方案1】：

基于日志数据格式，这是一个好的用例吗？

您可以将其用作数据集来训练神经网络以predict 未来值或classify 标签（或类别）中的它们。对于某些类型的神经网络（特别是Multi-Layer Perceptron），这取决于您如何组织数据集以在神经网络训练期间使用。还有其他情况可以对样本进行分组（也称为clustering）。

神经网络概念

由于您有一个以fields（或属性）分隔的历史数据，您可以创建neural network 到classify 或predict 可能的未来值的模型。

鉴于神经网络是由训练步骤定义的数学模型，您必须定义输入和输出集以在训练期间使用来定义此模型（神经网络）。鉴于此，您的定性值（文本、字符、字母等）必须转换为定量值，例如：

A you convert to 1
B you convert to 2
C you convert to 3
...
Z you convert to N

在此之后，您可以将数据集安排在样本中，以便在输入列表和每个样本的理想输出中将其分开。例如，假设您有一个定义房地产市场中的房屋及其价格的数据集。你的任务是为未来的新房子定义一个价格（建议），你的训练集样本可能是这样的：

输入：

Bedrooms ; Bathrooms ; Garage ; Near Subway
1        ; 1         ; 0      ; 1
3        ; 2         ; 2      ; 1
2        ; 2         ; 1      ; 0

理想输出（分别针对每个输入样本）

Price
100.000
150.000
230.000

并使用这些集合来训练神经网络，为提供特征的未来房屋建议价格

你的问题

在您的情况下，IPs 字段可以转换为定量值。示例：

1.2.3 convert to 1
1.2.4 convert to 2
1.2.5 convert to 3

假设您要对SIMILARITY SCORE 字段进行分类，因此，您可以使用HOUR OF DAY、IP ADDRESS X 和IP ADDRESS Y 列作为输入集，而您只有SIMILARITY SCORE 的输出集。下图描绘了如何使用它（一个简单的前馈神经网络）。

有许多工具可以让您轻松使用神经网络，您可以使用 double 值的数组来定义这些集合，并且将为您训练对象。我一直在使用 Heaton Research 的 Encog Framework，它支持 Java、C#、C++ 等。还有一个叫Accord Framework，但它只适用于.Net。

关于如何使用 Encog for Java 实现 Feed-forward Neural Network 的示例：

BasicNetwork network = new BasicNetwork();

// add layers in the neural network
network.addLayer(new BasicLayer(null, true, 3));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 4));
network.addLayer(new BasicLayer(new ActivationTANH(), true, 1));

// finalize and randomize the neural network
network.getStructure().finalizeStructure();
network.reset();

// define a random training set.
// You can define using your double arrays here
MLDataSet training = RandomTrainingFactory.generate(1000, 5, network.getInputCount(), network.getOutputCount(), -1, 1);

ResilientPropagation train = new ResilientPropagation(network, training);
double error = 0;
Integer epochs = 0;

//starting training
do 

    //train
    train.iteration();

    //count how many iterations the loop has
    epochs++;

    // get the error of neural network in the training set
    error = train.getError();

// condition for stop training
 while (epochs < 1000 && error > 0.01);

Obs：我没有测试这段代码。

如果您从神经网络开始，我建议您实现您的模型并使用来自UCI Machine Learning Repository 的数据集进行尝试。有太多数据集用于分类、回归和聚类问题，您可以测试您的实现。

【讨论】：

感谢您提供的详细信息。您的评论：“下图描绘了如何引导它。”我不明白这个说法，你的答案应该附上图片吗？

我更新了anwser，是的，它只是神经网络结构的简单图像。

我是否正确地说网络不需要反向传播您的建议？

嗯，有很多算法可以训练你的神经网络。我认为反向传播是训练神经网络最流行的算法。弹性传播是一种批处理算法，训练速度比反向传播快。它们都受 Encog Framework 支持，您可以对其进行测试，看看哪种方案最适合您的情况（我认为 Resilient Propagation 更好）。

不错。我认为您可以从带有反向传播的 feedforware 神经网络开始。它就像神经网络的“Hello World”。 :)