如何最快搭建LINUX服务器集群

Posted 2023-04-24

　　1.2.并行技术
　　这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
　　2.使用MPICH构建一个四节点的集群系统
　　这是一个非常简单的建造四节点的小集群系统的例子，它是构建在Linux操作系统上，通过MPICH软件包实现的，希望这个小例子能让大家对集群系统的构建有一个最基本的了解。
　　2.1 所需设备
　　1).4台采用Pentium II处理器的PC机，每台配
　　置64M内存，2GB以上的硬盘，和EIDE接口的光盘驱动器。
　　2).5块100M快速以太网卡，如SMC 9332 EtherPower 10/100(其中四块卡用于连接集群中的结点，另外一块用于将集群中的其中的一个节点与其它网络连接。)
　　3).5根足够连接集群系统中每个节点的，使用5类非屏蔽双绞线制作的RJ45缆线
　　4).1个快速以太网(100BASE-Tx)的集线器或交换机
　　5).1张Linux安装盘
　　2.2 构建说明
　　对计算机硬件不熟的人，实施以下这些构建步骤会感到吃力。如果是这样，请找一些有经验的专业人士寻求帮助。
　　1. 准备好要使用的采用Pentium II处理器的PC机。确信所有的PC机都还没有接上电源，打开PC机的机箱，在准备与网络上的其它设备连接的PC机上安装上两块快速以太网卡，在其它的 PC机上安装上一块快速以太网卡。当然别忘了要加上附加的内存。确定完成后盖上机箱，接上电源。
　　2. 使用4根RJ45线缆将四台PC机连到快速以太网的集线器或交换机上。使用剩下的1根RJ45线将额外的以太网卡(用于与其它网络相连的那块，这样机构就可以用上集群)连接到机构的局域网上(假定你的机构局域网也是快速以太网)，然后打开电源。
　　3. 使用LINUX安装盘在每一台PC机上安装。请确信在LINUX系统中安装了C编译器和C的LIB库。当你配置TCP/IP时，建议你为四台PC分别指定为192.168.1.1、192.168.1.2、192.168.1.3、192.168.1.4。第一台PC为你的服务器节点(拥有两块网卡的那台)。在这个服务器节点上的那块与机构局域网相连的网卡，你应该为其指定一个与机构局域网吻合的IP地址。
　　4.当所有PC都装好Linux系统后，编辑每台机器的/etc/hosts文件，让其包含以下几行：
　　192.168.1.1 node1 server
　　192.168.1.2 node2
　　192.168.1.3 node3
　　192.168.1.4 node4
　　编辑每台机器的/etc/hosts.equiv文件，使其包含以下几行：
　　node1
　　node2
　　node3
　　node4
　　$p#
　　以下的这些配置是为了让其能使用MPICH’s p4策略去执行分布式的并行处理应用。
　　1. 在服务器节点
　　，建一个/mirror目录，并将其配置成为NFS服务器，并在/etc/exports文件中增加一行：
　　/mirror node1(rw) node2(rw) node3(rw) node4(rw)
　　2. 在其他节点上，也建一个/mirror目录，关在/etc/fstab文件中增加一行：
　　server:/mirror /mirror nfs rw,bg,soft 0 0
　　3. /mirror这个目录从服务器上输出，装载在各个客户端，以便在各个节点间进行软件任务的分发。
　　4. 在服务器节点上，安装MPICH。MPICH的文档可在
　　5.任何一个集群用户(你必须在每一个节点新建一个相同的用户)，必须在/mirror目录下建一个属于它的子目录，如 /mirror/username，用来存放MPI程序和共享数据文件。这种情况，用户仅仅需要在服务器节点上编译MPI程序，然后将编译后的程序拷贝到在/mirror目录下属于它的的子目录中，然后从他在/mirror目录下属于它的的子目录下使用p4 MPI策略运行MPI程序。
　　2.3 MPICH安装指南
　　1.如果你有gunzip，就d下载mpich.tar.gz，要不然就下载mpich.tar.Z。你可以到http://www.mcs.anl.gov/mpi/mpich/downloa下载，也可以使用匿名FTP到ftp.mcs.anl.gov的pub/mpi目录拿。(如果你觉得这个东西太大，你可以到pub/mpi/mpisplit中取分隔成块的几个小包，然后用cat命令将它们合并)
　　2.解压：gunzip ;c mpich.tar.gz 　tar xovf-(或zcat mpich.tar.Z　tar xovf-)
　　3.进入mpich目录
　　4.执行：./configure为MPICH选择一套适合你的实际软硬件环境的参数组，如果你对这些默认选择的参数不满意，可以自己进行配置(具体参见MPICH的配置文档)。最好选择一个指定的目录来安装和配置MPICH，例如：
　　./configure -prefix=/usr/local/mpich-1.2.0
　　5.执行：make >&make.log 这会花一段较长的时间，不同的硬件环境花的时间也就不同，可能从10分钟到1个小时，甚至更多。
　　6.(可选)在工作站网络，或是一台单独的工作站，编辑mpich/util/machines/machines.xxx(xxx是MPICH对你机器体系结构取的名称，你能很容易的认出来)以反映你工作站的当地主机名。你完全可以跳过这一步。在集群中，这一步不需要。
　　7.(可选)编译、运行一个简单的测试程序：
　　cd examples/basic
　　make cpi
　　ln ;s ../../bin/mpirun mpirun
　　./mpirun ;np 4 cpi
　　此时，你就在你的系统上运行了一个MPI程序。
　　8.(可选)构建MPICH其余的环境，为ch_p4策略使
　　用安全的服务会使得任何启动速度加快，你可以执行以下命令构建：
　　make serv_p4
　　(serv_p4是一个较新的P4安全服务的版本，它包含在MPICH 1.2.0版中)，nupshot程序是upshot程序的一个更快版本，但他需要tk 3.6版的源代码。如果你有这个包，你就用以下命令可以构建它：
　　make nupshot
　　9.(可选)如果你想将MPICH安装到一个公用的地方让其它人使用它，你可以执行：
　　make install 或 bin/mpiinstall
　　你可以使用-prefix选项指定MPICH安装目录。安装后将生成include、lib、bin、sbin、www和man目录以及一个小小的示例目录，
到此你可以通告所有的用户如何编译、执行一个MPI程序。 参考技术A 一、集群的基本概念 有一种常见的方法可以大幅提高服务器的安全性，这就是集群。 Cluster集群技术可如下定义:一组相互独立的服务器在网络中表现为单一的系统，并以单一系统的模式加以管理。此单一系统为客户工作站提供高可靠性的服务本回答被提问者采纳 参考技术B PXE 安装 + 配置安装脚本 参考技术C 云帮手可以批量管理多个云服务器，全面支持所有主流云服务提供商，同时兼容CentOS、Ubuntu、Debian、OpenSUSE、Fedora等主流云服务器操作系统，不限主机数量和站点数量，绝对满足你的要求了

如何在Ubuntu下搭建Spark集群

你好，
安装 其实就是解压，配置 /etc/profile环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3

export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin

配置spark的conf下的spark-env.sh
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1

export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000

export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop

配置slaves(ip根据需要修改)
192.168.0.2
192.168.0.3
分发spark目录和scala目录到几台服务器相同路径下
4,启动

进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程
5， 运行程序，运行例子进入spark目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local 参考技术A 安装 其实就是解压，配置 /etc/profile环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
配置spark的conf下的spark-env.sh
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1

export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000
export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop
配置slaves(ip根据需要修改)
192.168.0.2
192.168.0.3
分发spark目录和scala目录到几台服务器相同路径下
4,启动
进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程
5， 运行程序，运行例子进入spark目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077
./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local
./run-example org.apache.spark.examples.SparkLR local 参考技术B 安装 其实就是解压，配置 /etc/profile环境变量
export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3

export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin

配置spark的conf下的spark-env.sh
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3
export SPARK_MASTER_IP=192.168.0.1

export SPARK_MASTER_WEBUI_PORT=8080
export SPARK_WORKER_WEBUI_PORT=8000

export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop

配置slaves(ip根据需要修改)
192.168.0.2
192.168.0.3
分发spark目录和scala目录到几台服务器相同路径下
4,启动

进入主节点的spark目录的bin下stop-all.sh是停掉集群，start-all.sh启动集群，jps可以在主节点看到master进程，slave节点看到worker进程
5， 运行程序，运行例子进入spark目录下
分布式运行
./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077
本地运行
./run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local