在centos环境下编译安装myrocksdb
Posted lunyu
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了在centos环境下编译安装myrocksdb相关的知识，希望对你有一定的参考价值。
rocksdb（https://rocksdb.org.cn/）是脸书（facebook）公司开源的一个key-value存储引擎，基于leveldb开发。rocksdb使用的是LSM存储引擎，纯c++编写。rocksdb具有很好的读写性能。但是rocksdb的实际操作需要很好的阅读rocksdb api文档，很多实现要自己编写代码来执行，还要考虑诸如线程安全等问题。Myrocks是rocksdb和mysql结合的结果，它将mysql的innodb引擎替换为rocksdb引擎，剥离实际操作底层rocksdb的方式，通过熟悉的操作mysql的方式进行数据库的连接、数据的存储读取等操作，方便很多。
参考页面http://myrocks.io/docs/getting-started/
1. 执行前两步安装必要的包
sudo yum install cmake gcc-c++ bzip2-devel libaio-devel bison zlib-devel snappy-devel sudo yum install gflags-devel readline-devel ncurses-devel openssl-devel lz4-devel gdb git
2. 下载facebook的mysql-5.6源码包
初始化init和更新submodule因为很耗时间，我采用在本地（windows）下载和执行。
git clone https://github.com/facebook/mysql-5.6.git cd mysql-5.6 git submodule init git submodule update
执行过后将这些文件上传至centos，我设置的接收目录是/usr/local/myrocksdb。
3. 处理dos文件(*)
如果上一步都在linux中执行，则可以忽略这一步。
这一步执行的原因是git在windows上执行上一步的一系列操作之后，执行/产生的文件是dos文件格式，和centos 的unix文件格式存在不同，不执行的话，会出现一系列未知错误。
通过如下命令对mysql-5.6中的所有文件进行转码：
cd /usr/local/myrocksdb/mysql-5.6 find . -type f -exec dos2unix {} ;
如果不存在dos2unix命令，执行：
yum install –y dos2unix
4. 安装zstd
zstd是zstandard数据压缩工具，由Facebook开发。该工具如果不安装，执行第14步时会提示缺少zstd的问题。
参考页面：https://www.howtoing.com/zstd-fast-data-compression-algorithm-used-by-facebook
执行如下几步：
cd /usr/local git clone https://github.com/facebook/zstd.git cd zstd make sudo make install
编译和安装（make install）后的zstd文件产生的文件在 /usr/local/lib 下，我们需要将该目录下的文件拷贝至 /usr/lib64 目录下。
cd /usr/local/lib cp * /usr/lib64
5. 下载?googletest-release-1.8.0.zip文件
到 https://codeload.github.com/google/googletest/zip/release-1.8.0 页面下下载googletest-release-1.8.0.zip文件。
将该文件存放到如下目录，
/usr/local/myrocksdb/mysql-5.6/source_downloads/
6. 安装boost
boost是c++的标准库，编译过程中会用到。
yum install boost yum install boost-devel yum install boost-doc
7. 执行make操作
7.1. cmake操作
在 /usr/local/myrocksdb/mysql-5.6 目录下执行，
cmake . -DCMAKE_BUILD_TYPE=RelWithDebInfo -DWITH_SSL=system -DWITH_ZLIB=bundled -DMYSQL_MAINTAINER_MODE=0 -DENABLED_LOCAL_INFILE=1 -DENABLE_DTRACE=0 -DCMAKE_CXX_FLAGS="-march=native"
出现如下结果表示执行成功。
7.2. make操作
make -j8
这一步要求centos环境至少要有3G的内存，而且执行时间很长，出现以下结果表示执行成功。
8. 添加压缩软件库（*）
这一步没怎么看明白，也可以不执行。
# assume libsnappy.a is located at /usr/lib/ export WITH_SNAPPY=/usr cmake ... make ...
9. 执行MTR 测试（*）
这一步是对mysql数据库做一个测试，也可以不执行。
cd mysql-test ./mysql-test-run.pl --mem --async-client --parallel=16 --fast --max-test-fail=1000 --retry=0 --force --mysqld=--rocksdb --mysqld=--default-storage-engine=rocksdb --mysqld=--skip-innodb --mysqld=--default-tmp-storage-engine=MyISAM --suite=rocksdb
出现如下结果，表示MTR测试执行完毕。
10. 安装Linkbench（*）
Linkbench是对mysql进行性能测试的一个工具，这里可以不安装。
确保安装JDK 和maven，如果没有要安装上，如下，
sudo apt-get install openjdk-7-jdk maven git clone https://github.com/facebook/linkbench.git cd linkbench; mvn clean package -P fast-test
出现如下结果表示执行成功。
11. 安装mysql数据库
执行以下命令安装数据库。
make install
出现以下结果表示执行安装完成。
成功之后会在 /usr/local/ 目录下生成 /mysql 文件，这个就是我们熟知的mysql安装目录。
12.创建mysql用户并赋权
useradd -d /home/mysql -m mysql
将mysql目录的权限赋给mysql用户。
cd /usr/local/mysql chown -R mysql:mysql mysql
13. 创建my.cnf文件
对mysql的配置文件 /etc/my.cnf 填入以下内容。
[client] default-character-set=utf8 [mysqld] #skip-grant-tables character_set_server=utf8 basedir=/usr/local/mysql datadir=/usr/local/mysql/data user=mysql port=3306 default_authentication_plugin=mysql_native_password rocksdb default-storage-engine=rocksdb skip-innodb default-tmp-storage-engine=MyISAM collation-server=utf8_bin log-bin binlog-format=ROW
14. 初始化数据库服务
cd /usr/local/mysql/scripts ./mysql_install_db --user=mysql --defaults-file=/etc/my.cnf --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data
出现如下结果表示执行成功。
15. 启动数据库服务
切换到 /usr/local/mysql/bin 目录下，执行mysql服务的启动。
cd /usr/local/mysql/bin ./mysqld_safe --defaults-file=/usr/local/mysql/my.cnf &
通过 ps -ef | grep mysql 命令查看，出现mysql的启动进程表示启动成功。
16. mysql的登录和赋权。
在 /usr/local/mysql/bin 目录下，执行，
use mysql; insert into mysql.user(Host,User,Password) values ("%","root",password("123456")); grant all privileges on *.* to [email protected]‘%‘ identified by ‘123456‘; flush privileges;
17.开放防火墙端口
这里防火墙是cetos默认的firewall防火墙。
打开设置的端口，重启防火墙。
firewall-cmd --zone=public --add-port=3306/tcp --permanent systemctl restart firewalld.service
18. 尝试创建库和表
创建数据库
create database myrocks;
创建表
CREATE TABLE `linktable` ( `id1` bigint(20) unsigned NOT NULL DEFAULT ‘0‘, `id1_type` int(10) unsigned NOT NULL DEFAULT ‘0‘, `id2` bigint(20) unsigned NOT NULL DEFAULT ‘0‘, `id2_type` int(10) unsigned NOT NULL DEFAULT ‘0‘, `link_type` bigint(20) unsigned NOT NULL DEFAULT ‘0‘, `visibility` tinyint(3) NOT NULL DEFAULT ‘0‘, `data` varchar(255) NOT NULL DEFAULT ‘‘, `time` bigint(20) unsigned NOT NULL DEFAULT ‘0‘, `version` int(11) unsigned NOT NULL DEFAULT ‘0‘, PRIMARY KEY (link_type, `id1`,`id2`) COMMENT ‘cf_link_pk‘, KEY `id1_type` (`id1`,`link_type`,`visibility`,`time`,`version`,`data`) COMMENT ‘rev:cf_link_id1_type‘ ) ENGINE=RocksDB DEFAULT COLLATE=utf8_bin;
以上是关于在centos环境下编译安装myrocksdb的主要内容，如果未能解决你的问题，请参考以下文章