hadoop在Linux下的简单配置

Posted 2023-05-13

参考技术A

实际生产环境中，员工不会直接登陆服务器，而是通过远程连接工具，进行远程登陆。那么就需要知道服务器的IP地址，一个用户名和密码。

1）安装(略)

2）连接虚拟机（前提是物理机能ping通虚拟机）

当我们频繁的在一台机器A上连接另外一台机器B时，不论是复制文件还是删除文件，或者是进行其他操作。那么都要使用机器B的用户名和密码。每次都需要输入密码，那么效率降低了。这个时候，如果可以不输入密码，还有一定的安全性，可以防止黑客在中间截取信息。那么就需要一种安全认证技术。

1）准备工作

2）测试

3）原理

[图片上传失败...(image-3835b9-1576065751546)]

在搭建HDFS的完全分布式集群时，需要以下环境要求:

1）说明

2）配置域名映射

1）准备工作

2）解压jdk到/opt/apps/

3）更名操作

4）配置环境变量

4.1）说明

4.2）配置

4.3）使当前窗口生效（或者reboot）

4.4）验证

1）解压缩

2）更名

3）配置

4）使当前窗口生效

5）验证

1）守护进程布局

2）配置文件的说明

1）配置core-site.xml

2）hdfs-site.xml

3）mapred-site.xml

4）yarn-site.xml

5）slaves文件：配置所有datanode节点的主机名

6）hadoop-env.sh

7）yarn-env.sh

1）说明，使用完整克隆，克隆manager

2）克隆步骤

3）修改新克隆机器的主机名

4）修改新克隆机器的IP地址

5）重启后，验证免密登陆认证是否有效

1）目的

2）格式化的命令

注意：一定要选择namenode所在的节点上进行格式化

1）开启集群的命令

2）使用jps查看节点上的守护进程

3）使用http协议查看分布式文件系统

5）暴力解决节点不正常的方式

3.1 常用指令：

4.1.1 解压hadoop-2.7.6.tar.gz到本地磁盘，如下图：

4.1.2 配置环境变量

4.1.3 由于Hadoop是在32位系统上编译的，并且对windows支持不好，所以需要把64的编译本地库文件(下图的两个文件)，放入bin目录中。

10.1.4 验证环境变量是否生效：

10.1.5 如果报错:Error: JAVA_HOME is incorrectly set

为了方便开发，我们可以将相关的jar提取出来。

OpenCV在Linux下的配置步骤（简单有效）

1.安装依赖（Opencv依赖的一些库）

sudo apt-get install cmake libgtk2.0-dev libavformat-dev libjpeg.dev libpng-dev libtiff-dev libtiff4.dev libswscale-dev libjasper-dev libcurl4-openssl-dev libtbb2 libdc1394-22-dev

2.配置cmake工具，安装

1.在Ｏｐｅｎｃｖ4.5.3目录下新建build目录在里面执行改命令构建makefile
cmake -D CMAKE_BUILD_TYPE=Release -DOPENCV_GENERATE_PKGCONFIG=ON -D CMAKE_INSTALL_PREFIX=/home/pi/opencv/opencv-4.5.3_install -D        //安装目录 OPENCV_EXTRA_MODULES_PATH=/home/pi/opencv/opencv_contrib-4.5.3/modules ..

2.$make -j4                //编译源码

3.$make install            //安装

3.设置系统环境变量

１．＄sudo vim /etc/ld.so.conf.d/opencv3.conf
２．＄/home/pi/opencv/opencv-4.5.3_install/lib        //在文件中加入
３．＄sudo ldconfig

4.设置bash环境变量

１．＄vim ~/.bashrc
２．＄export PKG_CONFIG_PATH=/home/pi/opencv/opencv-4.5.3_install/lib/pkgconfig                //在文件中加入
３．＄source ~/.bashrc

5.检查安装

pkg-config --cflags --libs opencv4