大数据分布式内存

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据分布式内存相关的知识,希望对你有一定的参考价值。

一.创建目录
1.mkdir -p /home/mongodb/data/master
2.mkdir -p /home/mongodb/data/slaver
3.mkdir -p /home/mongodb/data/arbiter
技术分享图片
二.配置文件
1.创建master.conf文件
#master.conf
dbpath=/home/mongodb/data/master
logpath=/home/mongodb/log/master.log
pidfilepath=/home/mongodb/master.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=192.168.1.4
port=27017
oplogSize=10000
fork=true
noprealloc=true
技术分享图片

2.创建arbiter.conf文件
#arbiter.conf
dbpath=/home/mongodb/data/arbiter
logpath=/home/mongodb/log/arbiter.log
pidfilepath=/home/mongodb/arbiter.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=192.168.1.12
port=27017
oplogSize=10000
fork=true
noprealloc=true
技术分享图片

3.创建slaver.conf文件
#slaver.conf
dbpath=/home/mongodb/data/slaver
logpath=/home/mongodb/log/slaver.log
pidfilepath=/home/mongodb/slaver.pid
directoryperdb=true
logappend=true
replSet=testrs
bind_ip=192.168.1.11
port=27017
oplogSize=10000
fork=true
noprealloc=true
技术分享图片

三.启动命令

  1. cd /home/mongodb/bin
  2. ./mongod -f /home/mongodb/master.conf
  3. ./mongod --fork --dbpath /home/mongodb/db --logpath /home/mongodb/log/set1.log --replSet test
  4. ./mongod --fork --dbpath /home/mongodb/db --logpath /home/mongodb/log/set1.log --replSet test
  5. ./mongod --fork --dbpath /home/mongodb/db --logpath /home/mongodb/log/set1.log --replSet test
  6. ./mongo 192.168.1.4:27017
    四.实战
    1.工程配置
    技术分享图片技术分享图片
    2.部分核心代码
    技术分享图片

以上是关于大数据分布式内存的主要内容,如果未能解决你的问题,请参考以下文章

开源大数据:Alluxio 云原生数据编排

大数据技术大数据软件框架

大数据架构设计与数据计算流程

Spark运行原理和RDD解析(DT大数据梦工厂)

分布式系统Kafka和ES中,JVM内存越大越好吗?

大数据技术学习之Spark技术总结