20180525早课记录18-Hadoop

Posted 2020-11-09

1.昨晚若泽分享了一个开源组件叫什么？

hystrix

2.jps如果看了信息不可用，我们该怎么做

ps一下进程 进入相应用户下去看

3.hadoop pid默认在哪?哪个变量和参数文件修改

默认在 /tmp 目录下
在hadoop-env.sh参数文件 修改HADOOP_PID_DIR变量

4.hdfs日志显示 是在safe mode，那么哪个命令可以尝试让hdfs离开安全模式

hdfs dfsadmin -safemode leave

5.hdfs执行操作命令时，发现有权限不可访问或者写入，请问你们该怎么办

更换用户 或 更改权限
su user -c或者hdfs dfs -chown

6.hdfs有垃圾箱吗？你们觉得生产上有必要开启吗？

有垃圾箱 生产可以开启

7.flume哪三个角色的?是不是一个进程?官网会看吗？

source channel sink 是一个进程

8.kafka哪三个角色的?是不是一个进程的?

producer topic consumer，不是一个进程

9.腾讯课堂上的kafka部署，看过了吗？

没有

10.hdfs dfs命令和什么命令等价

hadoop fs

11.hdfs文件写流程

参考前面博客

12.hdfs读流程

参考前面博客

13.一个文件260M，多少块

3

14.假如namenode是安全模式，你觉得可hdfs可以读吗

可以

15.输入spilt和什么有关?影响什么的数量?

和块大小有关，影响maptask的数量

16.默认reduce task个数多少?决定了最后输出文件个数

默认1个

17.上题中 参数是哪个?会改吗? 做过实验没?

还没