查询mySQL数据库的日志文件进行分析[关闭]

Posted 2023-04-18

【中文标题】查询mySQL数据库的日志文件进行分析[关闭]

【英文标题】：Query log file of mySQL database for analysis [closed]

【发布时间】：2016-05-05 05:06:45

【问题描述】：

我们有 mysql 数据库的日志文件，我们希望使用该日志文件进行分析（数据挖掘、机器学习……） 我对此很陌生。

你能指导我怎么做吗？

【问题讨论】：

我认为您需要更清楚地了解您打算如何处理日志文件。大多数操作都可以使用 grep 等 bash 命令简单地实现。

【参考方案1】：

根据您的要求，有许多工具可能对您有用。

但是为什么要使用 MySQL 日志而不是直接使用数据库，或者当用户与界面交互时，您正在搜索的详细信息会转到数据库中的新“信息挖掘”表。这可能会更强大

如果您希望确定插入/查询的速率。 您实际上可以设置 MySQL 将这些类型的事件记录到不同的文件中（因此一些工作已经完成，而不必挖掘所有事件的完整日志文件）。 否则，您将需要使用 Grep 等工具。

除此之外，您还有一个名为 Lucerne（来自 apache）的系统，该系统将挖掘数据并搜索关键词。它们有各种不同的钩子用于进入 Java、C 和其他语言。它与谷歌拖网网页的方式非常相似。

否则，如果您打算在数据库“内”挖掘数据，那么日志显然不是您的最佳选择。

日志还将包含有关用户的大量信息。 IP 地址可能比较棘手，但您可以交叉引用运行查询的用户名和一般服务器日志来确定连接的 IP。

【讨论】：

感谢 DaveM，我使用 Python，现在我想访问（解析）mySQL 数据库的日志文件以检索数据。你能给我指导吗？

@user2863110 您是否需要访问存储在数据库中的信息？如果是这样，您不需要访问日志文件，您只需将查询直接发送到数据库（在 SQL 中）。否则你希望从日志中提取什么样的细节？在您的原始问题中添加更多信息以进行澄清。

@DaceM : ***.com/questions/37176398/… 请阅读这个问题并告诉我你的想法。

@user2863110 ：dudu，必须道歉，我也从来没有做过那种工作。我建议您尝试在 python 中提出解决方案，然后当您收到错误消息时，将其和您的代码放入您的问题中。