MR错误问题的记录

Posted 2020-12-16 zyanrong

hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）

修改系统文件打开个数：

vi /etc/security/limits.conf
添加 ：
soft nofile 102400
hard nofile 409600

sudo vi /etc/pam.d/login
添加：
session required /lib/security/pam_limits.so

注意： cd /etc/security/limits.d/        //该位置是修改用户的打开文件个数限制

/etc/security/limits.conf 配置文件可限制文件打开数，系统进程等资源，在该文件配置中写的最大用户进程数是受/etc/security/limits.d/20-nproc.conf配置上限影响的。

一般系统普通用户进程数满了都是修改/etc/security/limits.d/90-nproc.conf文件

 

java.lang.OutOfMemoryError: Java heap space
出现这种异常，明显是jvm内存不够得原因，要修改所有的datanode的jvm内存大小。
Java -Xms1024m -Xmx4096m
一般jvm的最大内存使用应该为总内存大小的一半，这一值依旧不是最优的值