hadoop的核心配置文件都有哪些

Posted 2023-04-26

参考技术A 在hadoop1中核心组成部分是HDFS、MapReduce，到了Hadoop2，核心变为HDFS、Yarn，而且新的HDFS中可以有多个NameNode，每个都有相同的职能。
以下内容是从http://www.superwu.cn/2014/02/12/1094/阅读后自己总结了一下：
配置文件无非就这几个文件：
1、hadoop-env.sh：
只需设置jdk的安装路径，如：export JAVA_HOME=/usr/local/jdk
2、core-site.xml：
(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径
(2)hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点
(4)hadoop.proxyuser.erpmerge.hosts、hadoop.proxyuser.erpmerge.groups主要用来设置oozie的代理用户本回答被提问者采纳

查询hive中都有哪些自定义函数

如何在HIVE中使用自己定义的函数，可以有几种方式：
1.在HIVE会话中add 自定义函数的jar文件，然后创建function，继而使用函数
2.在进入HIVE会话之前先自动执行创建function，不用用户手工创建
3.把自定义的函数写到系统函数中，使之成为HIVE的一个默认函数，这样就不需要create temporary function
--------------------------------------------------------------------------------
1.在HIVE会话中add 自定义函数的jar文件，然后创建function，继而使用函数
hive> ADD JAR /home/hugh.wangp/UDFMd5.jar;
Added /home/hugh.wangp/UDFMd5.jar to class path
hive> CREATE TEMPORARY FUNCTION udfmd5 AS 'udf.UDFMd5';
OK
Time taken: 0.014 seconds
hive> select udfmd5('a') from dual;
OK
0cc175b9c0f1b6a831c399e269772661
这种方式的弊端是：每次打开新的会话，就要重新执行一遍如上的add jar和create temporary function的命令。对普通的业务分析人员未免要求太高。第二种方法可以把业务人员释放出来
--------------------------------------------------------------------------------
2.在进入HIVE会话之前先自动执行创建function
HIVE命令有个参数-i：在进入会话，待用户输入自己的HQL之前，先执行-i的参数。我们只需要把add jar和create temporary function的命令写到一个文件中，并把这个文件传到-i的参数，如此一来省去了每次要手工创建的工作。
但是这种方式也有个弊端，当我增添HIVE的gateway，就要拷贝一份这个文件，有时候遗漏真是不可避免的。第三种方法应该就是一个终极方案，只要HIVE本身代码不做修改，或者不删除特定的功能，这个函数就能一直用，而且可以把他作为HIVE的默认函数那样使用
--------------------------------------------------------------------------------
3.把自定义的函数写到系统函数中，使之成为HIVE的一个默认函数
a.编写自己的UDF/UDAF/UDTF，并把代码放到$HIVE_HOME/src/ql/src/java/org/apache/Hadoop/hive/ql/udf/路径下
b.修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java
以HIVE自带函数Trim()举例，自定义函数操作一样。
第一步：
写UDF代码UDFTrim.java并放到$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/udf/UDFTrim.java
第二步：
修改$HIVE_HOME/src/ql/src/java/org/apache/hadoop/hive/ql/exec/FunctionRegistry.java文件
a.import org.apache.hadoop.hive.ql.udf.UDFTrim;
b.registerUDF("trim", UDFTrim.class, false);
虽然这种方法是一劳永逸的方法，但是一旦错了，对整个HIVE使用都是灾难性的，所以不是特别通用的自定义函数还是采用前两种，一旦通用的自定义函数累计到一定程度，再去采用第三种方法。

更多相关内容可参考http://www.viiboo.cn 参考技术A 进入到hive中后，使用show functions命令，可以查看hive中可用的函数；
使用命令：describe function 函数名，可以查看函数的详细描述。