hadoop常见问题收集
Posted eian
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop常见问题收集相关的知识,希望对你有一定的参考价值。
hadoop 搭建 常用命令记录
快捷键安装在/user/local/bin目录下
nano 文件名
ctrl + k 剪切一行
ctrl + o 保存并重命名,不重命名直接enter
ctrl + x 退出
ctrl + u 粘贴- 启动: start-dfs.sh + start-yarn.sh
- hdfs 文件目录 root01的:/usr/local/centos/hadoophdfs 文件目录 root01的:/usr/local/centos/hadoop
- 修改hdfs文件目录的权限: hdfs dfs -chmod 777 /usr/local/centos/hadoop修改hdfs文件目录的权限: hdfs dfs -chmod 777 /usr/local/centos/hadoop
- hdfs 特点:
- 支持大文件存储
- 流式数据访问
- 商用硬件【遇到故障不会明显感到中断,照样可以使用】
- 低时间延迟的数据访问【几十毫秒以内的响应不适合hdfs上运行,可使用hbase】
- 大量的小文件
- 多用户写入, 任意修改文件【不支持多用户同时写入同一个文件】
linux下打开eclipse , 在eclipse安装解压目录下, 用命令 ./eclipse & 打开
- hadoop
- API
Configuration //配置类 fs.defaultFS (file:///)
FileSystem //抽象类 - 核心配置文件
core-site.xml //文件系统+本地临时目录 hadoop.tmp.dir
hdfs-site.xml //relication = 3
mapred-site.xml //yarn
yarn-site.xml //rm - blocksize
128m
寻址时间 ~=10
磁盘io速度= 100M/s
寻址时间是读取时间的1% - centos
- hadoop
hadoop/share/hadoop/common|hdfs|yarn|mapred|../lib/jars
- API
window 与linux 之间共享文件夹目录, 可以存放文件共享并保持读写
$ sudo mount -t cifs -o username=Jinc,password=ej //192.160.12.103/linux_share window_share
注: linux下共享目录在 /usr/local/window_share , window下共享目录在E:/linux_share ,- 查看hadoop文件 内容
hadoop fs -text /usr/local/centos/hadoop/out_words/part-r-00000 - 复制文件到hadoop文件系统
hadoop fs -put words /usr/local/centos/hadoop/words 运行mapreduce, 将java导出jar文件在hadoop上运行,并将结果输出到另一个地方【前路径是要加载的文件,后路径是要计算后输出的文件位置,这个位置不能存在】
hadoop jar MR.jar cn.demo.WordCount /usr/local/centos/hadoop/words /usr/local/centos/hadoop/out_words
另一种执行mapredce的方法: bin/yarn jar test_data/hdfs-project.jar /input /usr/local/hadoop/wsssss- IntWritable , Text , LongWritable
- java中int = IntWritable .get(); new IntWritable(num);
注: mapreduce 又几个重写方法, map, reduce, setup, cleanup , 其中, 最先执行的是setup, 然后是map,reduce , 其次是cleanup 【这些都是内部类执行的顺序】
以上是关于hadoop常见问题收集的主要内容,如果未能解决你的问题,请参考以下文章