大数据人员必会的linux性能调优

Posted 2021-04-05 浪尖聊大数据

最近发现知识付费泛滥成灾，很多人买了很多课程，但是真正能看完的没有几个课程，比如大数据从业人员，工具还没用熟，就去学习数据结构，机器学习等，不是瞧不起你的学习能力，人的精力有限，而且成长也要稳扎稳打，大数据都是培训入门的，没有两三年的积累，根本就是一坨屎，还想着贪多，最后肯定是一塌糊涂，不要只着眼于眼前。

建议先把，我下面的两篇文章完全掌握，然后再去做其他延伸，整理出自己的一套大数据学习经验，这个很重要。

关于大数据从业人员，估计目前很少像浪尖这有三四年的linux经验的，所以还是需要补充，至于为啥需要Linux基础呢？

主要有以下三点：

1. 安装部署必会。当然，大部分都是用CM等搭建，只需要简单配置一下yum源，那么随口问一句，yum依赖哪种语言呢？

   其实，企业中稍微有规模的都是自研大数据平台，直接使用apache的，然后这个时候部署就需要自己写Linux部署脚本了，还有简单的shell监控脚本。所以要补充一下linux知识。

2. 故障排查也许要Linux

   主要是网络故障，磁盘故障，需要了解网络和磁盘指令，比较全，如dstat。

   还包括网络是否通常，进程是否存活，端口是否存活等

3. 性能调优也需要Linux

   这个也主要是文件句柄，Linux缓存等性能，网络，磁盘，cpu等负载高的发现，定位，比如耗CPU的top10，耗内存的top等。

本来想自己整理一套完整的教程，后来发现真是精力有限，所以像平台安装，linux基础估计会放到最后。

内容的话可以参考下面的目录：