20180525早课记录18-Hadoop

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了20180525早课记录18-Hadoop相关的知识,希望对你有一定的参考价值。

1.昨晚若泽分享了一个开源组件叫什么?

hystrix

2.jps如果看了信息不可用,我们该怎么做

ps一下进程 进入相应用户下去看

3.hadoop pid默认在哪?哪个变量和参数文件修改

默认在 /tmp 目录下
在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量

4.hdfs日志显示 是在safe mode,那么哪个命令可以尝试让hdfs离开安全模式

hdfs dfsadmin -safemode leave

5.hdfs执行操作命令时,发现有权限不可访问或者写入,请问你们该怎么办

更换用户 或 更改权限
su user -c或者hdfs dfs -chown

6.hdfs有垃圾箱吗?你们觉得生产上有必要开启吗?

有垃圾箱 生产可以开启

7.flume哪三个角色的?是不是一个进程?官网会看吗?

source channel sink 是一个进程

8.kafka哪三个角色的?是不是一个进程的?

producer topic consumer,不是一个进程

9.腾讯课堂上的kafka部署,看过了吗?

没有

10.hdfs dfs命令和什么命令等价

hadoop fs

11.hdfs文件写流程

参考前面博客

12.hdfs读流程

参考前面博客

13.一个文件260M,多少块

3

14.假如namenode是安全模式,你觉得可hdfs可以读吗

可以

15.输入spilt和什么有关?影响什么的数量?

和块大小有关,影响maptask的数量

16.默认reduce task个数多少?决定了最后输出文件个数

默认1个

17.上题中 参数是哪个?会改吗? 做过实验没?

还没

以上是关于20180525早课记录18-Hadoop的主要内容,如果未能解决你的问题,请参考以下文章

20180510早课记录07-MySQL

20180529早课记录20-MySQL

20180528早课记录19-Hadoop

20180607早课记录26-Hive

20180521早课记录14-Hadoop

20180530早课记录-Linux