hadoop tez 结合搭建以及测试异常解决

Posted 2021-11-01 daqintu

hadoop tez 搭建

1、下载tez，本人下载的是bin.0.92版本。

http://www.apache.org/dyn/closer.lua/tez/0.9.2/

 

hadoop dfs -mkdir -p /apps/tez

tar -zxvf apache-tez-0.9.2-bin.tar.gz

hadoop dfs -copyFromLocal tez.tar.gz /apps/tez

 

2、在hadoop/etc/hadoop下创建 tez-site.xml文件，内容如下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
    <name>tez.lib.uris</name>
<!-- hdfs tez 包目录 -->    <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property>
<property>
   <name>tez.use.cluster.hadoop-libs</name>
    <value>false</value>
</property>
</configuration>

在 hadoo-env.sh 下面追加

# hadoop tez 配置文件位置
TEZ_CONF_DIR=/software/hadoop/etc/hadoop/tez-site.xml  
# tez 路径
TEZ_JARS=/softeware/tez  
export HADOOP_CLASSPATH=${HADOOP_CLASSPATH}:${TEZ_CONF_DIR}:${TEZ_JARS}/*:${TEZ_JARS}/lib/*  

GitHub安装配置说明地址：https://github.com/apache/incubator-tez/blob/branch-0.2.0/INSTALL.txt
官网参考：http://tez.apache.org/install.html

解压缩在tez 目录下面找到share 目录

3、将mapred-site.xml 的yarn 模式改成yarn-tez 模式

<property>  
     <name>mapreduce.framework.name</name>  
     <!-- <value>yarn</value> -->                                                                                                                                                                        
     <value>yarn-tez</value>  
     <final>true</final>  
</property>  
将修改完成的 tez-site.xml 和 mapred-site.xml 发送到其他节点

重新启动yarn就可以了
在tez 测试
hadoop dfs -put LINCENSE /data/input

hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output  

　　

如图示则是成功


5、可能出现异常解决方式。



 如果出现上述问题，则可能是 tez container 内存多大导致
可实际情况修改 在tez-site.xml 下面写入

<property>  
<name>tez.container.max.java.heap.fraction</name>    
<value>0.13</value>  
</property>

我的调整比例是 0.13， 自己可据实际情况去修改

不用重启yarn 直接进行测试
hadoop jar tez-examples-0.9.0.jar orderedwordcount /data/tez_input /user/ceshi/tez_output 
如果出现如下问题：

则根据提示在tez-site.xml 后面追加相应配置参数，根据实际情况去修改参数配置。不出现该问题不管就ok

<property>
<name>tez.runtime.io.sort.mb</name>
<value>85</value>
</property>

到此终于跑通了

 

我的 tez-site.xml 完成配置，自己跟自己实际需求配置就可以了

<property>
   <name>tez.lib.uris</name>
   <value>${fs.defaultFS}/apps/tez/tez.tar.gz</value>
</property>

<property>
   <name>tez.use.cluster.hadoop-libs</name>
   <value>false</value>
</property>

<property>
  <name>tez.container.max.java.heap.fraction</name>
  <value>0.13</value>
</property>

<property>
  <name>tez.runtime.io.sort.mb</name>
  <value>85</value>
</property>

 

转发请标明来源连接