大数据开发工程师需要具备哪些技能？

Posted 2023-05-02

可以根据招聘要求学习:
1、
o展示构建大数据解决方案的经验。Hadoop生态圈体验:Hadoop、Spark、MapReduce、Hive/Pig、Yarn、HBase等
o有使用RDBMS和NoSQL栈的经验(ElasticSearch, HBase, Cassandra)
o具备良好的Python统计和科学编程能力
o有数据可视化工具使用经验:Hue, Kibana, Qlikview, Tableau优先
对数据科学概念有良好的理解，并强调机器学习技术的优先考虑
o能够独立解决问题，积极主动，自我指导
o敏捷/Scrum开发方法经验
o软件测试知识，包括黑盒测试和白盒测试方法，以及功能测试和非功能测试

2、熟练Java/Scala/Python/go等一种或多种编程语言

熟练SparkStructuredStreaming和Flink等流计算引擎，有实际项目经验者优先
熟悉kafka,hadoop，zk,HBase，elasticsearch,clickhouse，Druid等大数据技术,有实际项目经验者优先
了解并行计算或者分布式计算原理，了解数据仓库相关知识优先
了解常见的机器学习算法，了解CNN/RNN/LSTM/GBDT等算法者优先 参考技术A 看招聘要求就知道了
会hadoop生态圈的使用，
会hive统计语法，其实这个和SQL类似
会做各种组件的二次开发，
会一些常用的nosql数据库，比如MongoDB
会一些可视化报表
这是主要的 参考技术B bai. 精通Java技术知识du，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发zhi；

. 了解python/shell等脚本语言；。

. 熟悉大数据平台架构，对ETL、数据仓库等有一定了解；。

. 有数据可视化、数据分析、数学模型建立相关经验者优先考虑。

. 有爬虫系统开发经验者优先。

作为一个Android工程师，应该掌握哪些专业技能

参考技术A 1、Android工程师必需比较熟悉常见控件使用，最好都可以通过一个实际Demo测试

2、熟悉Java基本语法，比如：接口、抽象类、链表、数组

3、熟悉其中一种数据库的操作，比如MySQL、SQLServer，Android开发中使用内置的SQLite数据库，但是数据库语法还是一样的

4、理解Android四大组件各生命周期，在何时执行各自回调方法，实际开发中在对应的回调方法调用函数

5、懂得Fragment的和Activity的使用，实现一个更加漂亮的效果

6、实际开发的过程中，做到不懂的记录、总结、不断提高！谢谢博客，那其实很必要！本回答被提问者采纳 参考技术B 四大组件