HBaseHiveMapReduceHadoopSpark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)

Posted 大数据和人工智能躺过的坑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了HBaseHiveMapReduceHadoopSpark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)相关的知识,希望对你有一定的参考价值。

 

步骤一

   若是,不会HBase开发环境搭建的博文们,见我下面的这篇博客。

HBase 开发环境搭建(Eclipse\\MyEclipse + Maven)

  

  步骤一里的,需要补充的。如下:

   在项目名,右键,

 

 

 

  然后,编写pom.xml,这里不多赘述。见

HBase 开发环境搭建(Eclipse\\MyEclipse + Maven)

  完成之后呢,编写好代码,对吧。

 

 

 

 

 

步骤二  HBase 开发环境搭建后的一些步骤(export导出jar包方式  或 Ant 方式)

  这里,不多说,玩过大数据一段时间的博友们,都知道。

 

 

 

 

 

 

 

 

 

 

步骤三  HBase 开发环境搭建后的一些步骤(export导出jar包方式  或 Ant 方式

  首先,在MyEclispe里

  看到了吗,MyEclipse默认是只有自带的Ant,没有外置的Ant。一般,我们都不用默认的。

  比如我这里。

 

 

 

 

  

  注意,这里有个jar包,一定要放在我们本地ANT_HOME下的lib下

下载,见

http://download.csdn.net/detail/u010106732/9705437 

 

 

  

 

 

 

 

 

  其次,Eclipse里,一样的步骤,类似的

    看到了吗,Eclipse默认是只有自带的Ant,没有外置的Ant。一般,我们都不用默认的。

 

 

注意,这里有个jar包,一定要放在我们本地ANT_HOME下的lib下

  

 

 

 

 

 

 

<?xml version="1.0" encoding="UTF-8"?>

<project name="项目名称" basedir="." default="sshexec">
<description>本配置文件供ANT编译项目、自动进行单元测试、打包并部署之用。</description>
<description>默认操作(输入命令:ant)为编译源程序并发布运行。</description>

<!--属性设置-->
<property environment="env" />
<property file="build.properties" />
<property name="src.dir" value="${basedir}/src" />
<property name="java.lib.dir" value="${env.JAVA_HOME}/lib" />
<property name="classes.dir" value="${basedir}/classes" />
<property name="dist.dir" value="${basedir}/dist" />
<property name="third.lib.dir" value="D:\\hadoop software\\hbase-0.98.8-hadoop2\\lib" />
<property name="localpath.dir" value="${basedir}" />
<property name="remote.host" value="192.168.1.177"/>
<property name="remote.username" value="root"/>
<property name="remote.password" value="hadoop"/>
<property name="remote.home" value="~"/>
<!--每次需要知道的main类,写到这里-->
<property name="main.class" value="hbase.HBaseTest"/>

<!-- 基本编译路径设置 -->
<path id="compile.classpath">
<fileset dir="${java.lib.dir}">
<include name="tools.jar" />
</fileset>
<fileset dir="${third.lib.dir}">
<include name="*.jar"/>
</fileset>
</path>

<!-- 运行路径设置 -->
<path id="run.classpath">
<path refid="compile.classpath" />
<pathelement location="${classes.dir}" />
</path>
<!-- 清理,删除临时目录 -->
<target name="clean" description="清理,删除临时目录">
<!--delete dir="${build.dir}" /-->
<delete dir="${dist.dir}" />
<delete dir="${classes.dir}" />
<echo level="info">清理完毕</echo>
</target>
<!-- 初始化,建立目录,复制文件 -->
<target name="init" depends="clean" description="初始化,建立目录,复制文件">
<mkdir dir="${classes.dir}" />
<mkdir dir="${dist.dir}" />
</target>
<!-- 编译源文件-->
<target name="compile" depends="init" description="编译源文件">
<javac srcdir="${src.dir}" destdir="${classes.dir}" source="1.7" target="1.7" includeAntRuntime="false" debug="false" verbose="false">
<compilerarg line="-encoding UTF-8 "/>
<classpath refid="compile.classpath" />
</javac>
</target>
<!-- 打包类文件 -->
<target name="jar" depends="compile" description="打包类文件">
<jar jarfile="${dist.dir}/jar.jar">
<fileset dir="${classes.dir}" includes="**/*.*" />
</jar>
</target>
<!--上传到服务器
**需要把lib目录下的jsch-0.1.51拷贝到$ANT_HOME/lib下,如果是Eclipse下的Ant环境必须在Window->Preferences->Ant->Runtime->Classpath中加入jsch-0.1.51。
-->
<target name="ssh" depends="jar">
<scp file="${dist.dir}/jar.jar" todir="${remote.username}@${remote.host}:${remote.home}" password="${remote.password}" trust="true"/>
</target>

<target name="sshexec" depends="ssh">
<sshexec host="${remote.host}" username="${remote.username}" password="${remote.password}" trust="true" command="source /etc/profile;hadoop jar ${remote.home}/jar.jar ${main.class}"/>
</target>
</project>

 

 

   把这个build.xml模板文件,复制到项目根目录下。

 

 

 

 

 

  若有时间的话,需要了解更多,见

关于MAVEN和ANT的讨论(整理)

ant 连接linux 缺少jsch.jar 及添加jar包无效解决方法  

 

以上是关于HBaseHiveMapReduceHadoopSpark 开发环境搭建后的一些步骤(export导出jar包方式 或 Ant 方式)的主要内容,如果未能解决你的问题,请参考以下文章