如何从 MySQL 服务器迁移到大数据 Hadoop

Posted

技术标签:

【中文标题】如何从 MySQL 服务器迁移到大数据 Hadoop【英文标题】:How to migrate from MySQLServer to BigData Hadoop 【发布时间】:2015-11-20 07:56:21 【问题描述】:

我正在使用包含 500GB 空间的 mysql Server 数据库,因此性能非常慢,需要 15-20 分钟才能显示搜索结果。请帮助我在几秒钟内进行搜索的最佳解决方案是什么。我可以使用 BigData Hadoop 或任何其他方法吗?请帮助我。

谢谢

【问题讨论】:

您执行什么类型的搜索操作?您能否详细说明您的查询。 你试过FULLTEXT索引吗? 【参考方案1】:

如果查询速度很重要,请查看列存储数据库。这可以有或没有hadoop。

对于 hadoop,选择正确的文件结构很重要。镶木地板是一种流行的选择。查询这些文件:

Cloudera 黑斑羚 阿帕奇钻

没有 Hadoop:

HP Vertica 亚马逊红移 绿梅

https://en.wikipedia.org/wiki/Column-oriented_DBMS

【讨论】:

将 Sphinx 添加到列表中。

以上是关于如何从 MySQL 服务器迁移到大数据 Hadoop的主要内容,如果未能解决你的问题,请参考以下文章

如何将大型 MySQL 数据库从一台服务器迁移到另一台服务器?

如何在两台服务器之间安全迁移MySQL数据库

MSSQL 到 MySQL 迁移 - UCS-2 代理对的字符编码问题,如何从 MSSQL 数据库中删除这些?

如何从MongoDB迁移到MySQL?这有现成经验!

关于迁移到大数据的疑虑

如何使用文件将数据从 mysql 迁移到 clickhouse?