原 大数据入门学习，你要掌握这些技能

Posted 2021-01-17

小编将此文献给对数据有热情，想长期从事此行业的年轻人，希望对你们有所启发，并快速调整思路和方向，让自己的职业生涯有更好的发展。

根据数据应用的不同阶段，本文将从底层到最终应用讨论这些数据人员的必要技能。

1、大数据平台

目前，它非常流行，数据源，各种酷的新技术，构建Hadoop，蜂巢，星火，Kylin，德鲁伊，Copy~，如果你想了解Java，很多平台都是用Java开发的。

目前，许多企业已经收集数据。对于传统的业务数据，传统的数据是完全足够的。但是对于用户行为和点击行为或者许多非结构化数据，如文本、图像和文本，由于数据量太大，许多公司不知道如何处理。存储。

如何构建实时、近实时、离线的大数据框架，如何对数据流进行耦合和解耦，如何实现容灾、平台稳定性和可用性，是我们需要解决的问题。

我的感觉是：在过去的两三年里，这个人才仍然稀缺，因为大数据炒作的概念是如此的激烈，很多企业被愚弄的说，让我们也开始进入大数据行业吧。进入的先决条件之一是存储数据，特别是在用户行为的许多方面。企业的进步是显而易见的。如果你能很好地描述用户，它将有助于你的产品设计、市场营销和市场开发。在这个阶段，许多公司不得不采取第一步：存储更多的数据。这也是员工流动性相对较高的原因。

这项工作最重要的部分是蜂箱速度慢，SQL查询速度慢，集群再次挂起。在Hadoop版本升级之后，数据是如何运行的？

如果你想在这个领域做得好，你还需要有整个系统架构的设计能力，比较强的抗压和解决问题的能力，资源收集能力，可以进入开源社区，这样你才能跟上最新的发展趋势和技术。吉斯随时都可以。

2。数据可视化

这是一项令人眼花缭乱的工作。最好了解前端的一些东西，比如JS。数据可视化人员需要良好的分析思维，并且不能忽视对企业的帮助程度，以便展示他们的技能。因为我没有很多访问者来这篇文章，我没有任何深刻的见解，但我认为这篇文章需要分析能力，以做好可视化工作。

另一方面，从事数据应用的人应该理解数据可视化。他们应该知道材料的顺序是：图片>表格>文字。一个可以用图片描述的机会不应该用文字来描述，因为它更容易让别人理解。你知道，当向大领导解释事情时，你需要把大领导想象成一个“数据白痴”，这样你才能更生动地说出一件事。大数据学习群142973723

三。数据分析员

对于数据分析师的定位：就个人而言，很难成为一个优秀的数据分析师，市场上也没有很多优秀的分析师。除了数据分析、结论提取和洞察数据背后的原因之外，数据分析人员还需要了解业务和了解算法。

只有这样，当遇到业务问题时，数据分析人员才能够逐步解决问题，然后根据问题的位置对策略做出响应，如第一策略测试或优化算法的应用，使用其中sce纳里奥，我们能用这个计算吗？依法解决问题。

优秀的数据分析师是精通业务和算法的万能数据科学家，而不是只听从业务需求来拉数据、做报告和做分析的懒汉。我们都说分析应该得出结论。优秀分析师的结论是一整套能解决问题的策略和反应。同时，许多需求被分析师积极发现并通过数据挖掘。

从上面的描述可以看出，对数据分析员的要求是：编写SQL数据、精通业务、洞察数据、精通算法、主动性强、要求高。

4、数据挖掘/算法

对于这个职位的技能要求，你不需要从头开始执行所有的算法。有许多现有的算法包要调用。基本要求是知道每个场景使用哪种算法，比如分类场景，常用的分类算法是LR/RF/Xgboost/ET等。当模型无效时，IMIZE。它还需要实现算法的能力，Scala/Python／R/爪哇可以在语言中使用。我们常说：“工具不重要。重要的是你玩的是工具而不是工具。”

另外，对于监督学习算法，算法工程师最好有良好的商业意识，这样在特征设计时，可以更具有针对性，只有当特征设计时，才能有良好的先验性。

这么多人说了又谈。事实上，核心是如何用数据创造价值。如果你没有能力用数据创造价值，你只能等待被数据淹没，被工作场所的数据扼杀，及早达到事业的顶峰。