ubuntu下Hadoop无法使用的问题

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了ubuntu下Hadoop无法使用的问题相关的知识,希望对你有一定的参考价值。

在ubuntu中配置好了hadoop,装好了eclipse,在浏览DFS的时候出现了错误:

Failed on local exception:java.io.EOFException;Host Details:local host
is:"ubuntu/127.0.0.1";destination host is:"localhost:9000";
这个是配置:
mapred.site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>

</configuration>

core,site.xml:
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.temp.dir</name>
<name>/usr/local/hadoop/tmp</name>
</property>
</configuration>

etc/hosts:
127.0.0.1 localhost
127.0.0.1 ubuntu.ubuntu-domain ubuntu

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

etc/hostname:
ubuntu

这个是怎么回事呀?

参考技术A 1.把这些都注释掉
127.0.0.1 ubuntu.ubuntu-domain ubuntu

# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
2..job.tracker 端口是9001 hdfs 是9000 检查一哈 eclipse 的配置 端口是否写反

Ubuntu14下Hadoop开发&lt;2&gt; 编译64位Hadoop2.4

  • Hadoop官方站点仅仅提供了32位的Hadoop包。我装的是64位的系统。自然无法使用,会报错误,导致的结果是无法启动hadoop
libhadoop.so.1.0.0 which might have disabled stack guard.
  • 我们能够在${Hadoop-Home}/lib/native目录下找到libhadoop.so.1.0.0文件,会出现例如以下
[email protected]:$ file /usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0
/usr/mytools/hadoop-2.4.0/lib/native/libhadoop.so.1.0.0:ELF 32-bit LSB shared object, Intel 80386,version 1 (SYSV), dynamically linked, not stripped
  • 我没有使用svn,直接在官网下载的hadoop的src包。解压后。进入该文件夹。直接执行(别忘了,你的当前用户要有这个文件夹的操作权限)
mvn package -Pdist,native,docs -DskipTests -Dtar
  • 漫长的调试工作開始了,搜资料,搜集这些包真是崩溃的节奏
  • 下午3点一种弄到凌晨1点,经过几个小时的努力,应该安装的依赖软件包含
sudo apt-get install maven
sudo apt-get install protobuf-compiler
sudo apt-get install cmake
sudo apt-get install zlib1g.dev
sudo apt-get install g++
sudo apt-get install libglib2.0-dev
sudo apt-get install libssl-dev
  • 当中maven是maven3,我错误的觉得maven是1。ant是系统自带的1.9版本号
  • 大多数的错误网上都能搜出解决,除了libglib2.0-dev和zlib1g.dev这两个依赖包,搜的时间较长
  • 整个过程最崩溃的是cmake,装好之后,查看版本号,正常,但依旧报
an ant buildxception has occured exec returned 1
  • 细致看了运行日志,才发现,我最開始的hadoop-src文件夹是在中文下,我在编译过程中怕中文对编译有影响,便将整个文件夹复制到某英文路径下,在移动之前运行过编译操作,可是没有安装zlib1g.dev和libglib2.0-dev。所以之后就算安装了这俩依赖包,还是会报错,解决的方式是删除这个hadoop-src,又一次解压一份放到英文路径一下,再次运行打包操作
  • 大概40分钟左右,搞定。生成的hadoop-2.4.0-src/hadoop-dist/target/hadoop-2.4.0,用这个替换掉之前的32位hadoop-2.4.0就可以

以上是关于ubuntu下Hadoop无法使用的问题的主要内容,如果未能解决你的问题,请参考以下文章

ubuntu下hadoop伪分布无法启动namenode

Ubuntu14下Hadoop开发&lt;2&gt; 编译64位Hadoop2.4

在 Ubuntu 20.04 上使用 Hadoop 进行新 Spark 设置后无法运行 spark-shell 命令

Hadoop在Ubuntu系统下安装Hadoop单机/伪分布式安装

Ubuntu上搭建Hadoop环境

无法在 Ubuntu (16.04) 上以伪模式启动 Hadoop (3.1.0)