21.TFS文件系统搭建笔记
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了21.TFS文件系统搭建笔记相关的知识，希望对你有一定的参考价值。
TFS文件系统搭建笔记
参考地址:
https://github.com/alibaba/tfs/blob/master/INSTALL.md
https://github.com/alibaba/tfs/blob/master/DEPLOY.md
http://tfs.taobao.org/
http://code.taobao.org/p/tfs/wiki/get/
http://csrd.aliapp.com/
软件下载地址(源码):
TFS:https://github.com/alibaba/tfs
nginx模块:https://github.com/alibaba/nginx-tfs
utils:https://github.com/raywill/tb-common-utils
安装命令:
gcc环境官方推荐gcc-4.1.2(gcc4.8.2亲测失败)
1.安装GCC
http://ftp.gnu.org/gnu/gcc 下载GCC
wget http://ftp.gnu.org/gnu/gcc/gcc-4.1.2/gcc-4.1.2.tar.bz2 在线下载GCC
tar -jxvf gcc-4.8.2.tar.bz2 解压GCC源码
cd gcc-4.8.0
./contrib/download_prerequisites 下载编译所需配置文件
mkdir gcc-build-4.1.2
cd gcc-build-4.1.2
../configure -enable-checking=release -enable-languages=c,c++ -disable-multilib 生成安装文件
make -j4 根据电脑核心数,编译
make install
gcc -v 查看版本
2.安装tfs环境
yum源最好自己配置一下,我用网易yum源,以下命令使用yum即可,apt-get是Ubuntu命令
安装依赖的软件包
- automake TFS基于automake工具构建
- 下载源码安装
- apt-get install automake
- yum install automake.noarch
- libtool automake需要使用libtool
- 下载源码安装
- apt-get install libtool
- yum install libtool.x86_64
- realine 用于命令行编辑的库
- 下载源码安装
- apt-get install libreadline-dev
- yum install readline-devel.x86_64
- libz-devel 用于数据压缩/解压缩
- 下载源码安装
- apt-get install zlib1g-dev
- yum install zlib-devel.x86_64
- uuid-devel 用于生成全局唯一ID
- 下载源码安装
- apt-get install uuid-dev
- yum install e2fsprogs-devel.x86_64
- tcmalloc google的内存管理库
- 下载源码安装
- apt-get install libgoogle-perftools-dev
- yum install google-perftools.x86_64
###tar包安装tcmalloc;google的内存管理工具(TFS参考了google的GFS,所以用到了这个工具)###
参考:http://blog.csdn.net/chen19870707/article/details/40301783
软件包我自己在网上找的:
libunwind-1.1.tar.gz
gperftools-2.4.tar.gz
libunwind安装:
tar zxvf libunwind-1.1.tar.gz
cd libunwind-1.1
./configure
make
make install
安装google-perftools：
tar zxvf tar zxvf gperftools-2.1.tar.gz
cd gperftools-2.1
./configure
make
make install
TCMalloc库加载到Linux系统中：
echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
/sbin/ldconfig
#安装uuid工具
yum install libuuid-devel
3.Linux环境好了,开始安装tfs环境
#安装tb-common-utils
unzip tb-common-utils-master.zip
vim /etc/profile
设置环境变量,tb-common-utils-master.zip解压目录(随意)
TBLIB_ROOT=/home/tb-common-utils-master
source /etc/profile 重新加载配置文件
cd tb-common-utils-master 进入解压目录开始编译
chmod +x build.sh 给文件+可执行权限
./build.sh执行编译
如果一切顺利，tb-common-utils已经安装成功到$TBLIB_ROOT路径下
4.编译安装tfs
cd ../ 进入github下载的源码目录
unzip tfs-master.zip #解压tfs源码
cd tfs-master
sh build.sh init #初始化编译脚本生成configure等文件
./configure --prefix=/opt/tfs-master --with-release #生成编译文件makefile
make #执行编译,看最后有没有error,没有就是幸运
make install #执行安装
cd /opt/tfs-master/ #进入程序安装目录可以看到可执行文件可配置文件
安装后目录结构:
复制源码中的conf下配置文件到安装目录的conf.
修改nameserver(NS)配置文件:
#work directoy
work_dir=/opt/tfs/tfsData
#ip addr(vip)
ip_addr = 192.168.20.102
ip_addr_list = 192.168.20.102|192.168.0.254
group_mask = 255.255.255.255
修改dataserver(DS)配置文件:
在成功安装TFS之后，在你的安装目录（默认为~/tfs_bin)，包含几个子目录bin、conf、include、lib、logs、script等。
- bin：包含tfs所有的可执行程序文件，如nameserver(NS)、dataserver(DS)、tfstool。
- conf：包含tfs的配置文件，如NS的配置文件ns.conf，DS的配置文件ds.conf。
- include：包含TFS客户端库相关的头文件，应用程序使用TFS需要包含这些头文件。
- lib：包含TFS客户端的静/动态库，应用程序使用TFS需要连接libtfsclient。
- logs：用于存储TFS运行过程中的日志。
- script：包含tfs常用的一些运维脚本，如stfs用于格式化DS， tfs启动/停止NS、DS。
本文介绍如何搭建TFS存储集群，以两台存储节点（4个DS进程）为例，部署拓扑图如下所示：
配置TFS
~/tfs_bin/conf目录下包含TFS的配置文件模板，在部署前需要根据环境修改配置文件，下面对NS，DS一些关键的配置项进行说明，所有配置项使用key=value的形式进行配置，每行一项，在行首加#可直接注释配置项使之不生效；使用者应该根据实际情况，修改conf/ns.conf、conf/ds.conf这两个配置文件。
[public] 通用配置
log_size=1073741824 日志文件大小，当日志大小超过这个配置值时，TFS会进行rotate，产生新的日志文件, 建议不修改
log_num=64 最多保存的日志文件个数，超出会删除最旧的日志文件，建议不修改
log_level=info 日志级别（error，warn，info，debug），生产环境建议info级别，测试环境建议使用debug使用CentOS 7搭建FastDFS分布式文件系统教程