hadoop本地化运行

Posted 2020-09-26 牵牛花

mr的三种运行方式

第一种,打成jar包,在hadoop上运行

第二种,driver端在本地,通过ide连接linux上的hdfs

第三种,windows本地运行

hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1kVSMkV9  

首先在解压hadoop2.6.5 然后配置到环境变量path里面

在bin里加入hadoop_dll2.6.0_64bit这个压缩包中的所有文件,选择覆盖,

此时在java代码里面

Configuration conf= new Configuration();

//选择文件系统默认是本地

//conf.set("fs.defaultFS","hdfs://mini0:9000");

//hadoop路径

//conf.set("hadoop.home.dir","D:\\\\test\\\\hadoop-2.6.5");

//解决在hdfs上的权限问题

// System.setProperty("HADOOP_USER_NAME","root");

此时尝试运行,如果不行的话,重启之后再尝试

如果选择了本地运行那么在输入和输出可以用本地的

//数据来源？---》hdfs 设置数据来源的位置

FileInputFormat.addInputPath(job,new Path("D:\\\\test\\\\hadoop-2.6.5\\\\hadoopData\\\\word.txt"));

//输出的位置

FileOutputFormat.setOutputPath(job,new Path("D:\\\\test\\\\hadoop-2.6.5\\\\hadoopData\\\\output5"));

 

如何需要在本地运行则需要配置hadoop的环境变量

 

 

 

 

 

 

http://www.cnblogs.com/tq03/p/5101916.html