数据分析需要掌握哪些知识?

Posted 2023-05-04

Java基础语法

· 分支结构if/switch

· 循环结构for/while/do while

· 方法声明和调用

· 方法重载

· 数组的使用

· 命令行参数、可变参数

IDEA

· IDEA常用设置、常用快捷键

· 自定义模板

· 关联Tomcat

· Web项目案例实操

面向对象编程

· 封装、继承、多态、构造器、包

· 异常处理机制

· 抽象类、接口、内部类

· 常有基础API、集合List/Set/Map

· 泛型、线程的创建和启动

· 深入集合源码分析、常见数据结构解析

· 线程的安全、同步和通信、IO流体系

· 反射、类的加载机制、网络编程

Java8/9/10/11
新特性

· Lambda表达式、方法引用

· 构造器引用、StreamAPI

· jShell(JShell)命令

· 接口的私有方法、Optional加强

· 局部变量的类型推断

· 更简化的编译运行程序等

mysql

· DML语言、DDL语言、DCL语言

· 分组查询、Join查询、子查询、Union查询、函数

· 流程控制语句、事务的特点、事务的隔离级别等

JDBC

· 使用JDBC完成数据库增删改查操作

· 批处理的操作

· 数据库连接池的原理及应用

· 常见数据库连接池C3P0、DBCP、Druid等

Maven

· Maven环境搭建

· 本地仓库&中央仓库

· 创建Web工程

· 自动部署

· 持续继承

· 持续部署

Linux

· VI/VIM编辑器

· 系统管理操作&远程登录

· 常用命令

· 软件包管理&企业真题

Shell编程

· 自定义变量与特殊变量

· 运算符

· 条件判断

· 流程控制

· 系统函数&自定义函数

· 常用工具命令

· 面试真题

Hadoop

· Hadoop生态介绍

· Hadoop运行模式

· 源码编译

· HDFS文件系统底层详解

· DN&NN工作机制

· HDFS的API操作

· MapReduce框架原理

· 数据压缩

· Yarn工作机制

· MapReduce案例详解

· Hadoop参数调优

· HDFS存储多目录

· 多磁盘数据均衡

· LZO压缩

· Hadoop基准测试

Zookeeper

· Zookeeper数据结果

· 内部原理

· 选举机制

· Stat结构体

· 监听器

· 分布式安装部署

· API操作

· 实战案例

· 面试真题

· 启动停止脚本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架构原理

· 安装部署

· 远程连接

· 常见命令及基本数据类型

· DML数据操作

· 查询语句

· Join&排序

· 分桶&函数

· 压缩&存储

· 企业级调优

· 实战案例

· 面试真题

Flume

· Flume架构

· Agent内部原理

· 事务

· 安装部署

· 实战案例

· 自定义Source

· 自定义Sink

· Ganglia监控

Kafka

· 消息队列

· Kafka架构

· 集群部署

· 命令行操作

· 工作流程分析

· 分区分配策略

· 数据写入流程

· 存储策略

· 高阶API

· 低级API

· 拦截器

· 监控

· 高可靠性存储

· 数据可靠性和持久性保证

· ISR机制

· Kafka压测

· 机器数量计算

· 分区数计算

· 启动停止脚本

DataX

· 安装

· 原理

· 数据一致性

· 空值处理

· LZO压缩处理

Scala

· Scala基础入门

· 函数式编程

· 数据结构

· 面向对象编程

· 模式匹配

· 高阶函数

· 特质

· 注解&类型参数

· 隐式转换

· 高级类型

· 案例实操

Spark Core

· 安装部署

· RDD概述

· 编程模型

· 持久化&检查点机制

· DAG

· 算子详解

· RDD编程进阶

· 累加器&广播变量

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定义UDF&UDAF函数

Spark Streaming

· SparkStreaming

· 背压机制原理

· Receiver和Direct模式原理

· Window原理及案例实操

· 7x24 不间断运行&性能考量

Spark内核&优化

· 内核源码详解

· 优化详解

Hbase

· Hbase原理及架构

· 数据读写流程

· API使用

· 与Hive和Sqoop集成

· 企业级调优

Presto

· Presto的安装部署

· 使用Presto执行数仓项目的即席查询模块

Ranger2.0

· 权限管理工具Ranger的安装和使用

Azkaban3.0

· 任务调度工具Azkaban3.0的安装部署

· 使用Azkaban进行项目任务调度，实现电话邮件报警

Kylin3.0

· Kylin的安装部署

· Kylin核心思想

· 使用Kylin对接数据源构建模型

Atlas2.0

· 元数据管理工具Atlas的安装部署

Zabbix

· 集群监控工具Zabbix的安装部署

DolphinScheduler

· 任务调度工具DolphinScheduler的安装部署

· 实现数仓项目任务的自动化调度、配置邮件报警

Superset

· 使用SuperSet对数仓项目的计算结果进行可视化展示

Echarts

· 使用Echarts对数仓项目的计算结果进行可视化展示

Redis

· Redis安装部署

· 五大数据类型

· 总体配置

· 持久化

· 事务

· 发布订阅

· 主从复制

Canal

· 使用Canal实时监控MySQL数据变化采集至实时项目

Flink

· 运行时架构

· 数据源Source

· Window API

· Water Mark

· 状态编程

· CEP复杂事件处理

Flink SQL

· Flink SQL和Table API详细解读

Flink 内核

· Flink内核源码讲解

· 经典面试题讲解

Git&GitHub

· 安装配置

· 本地库搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安装部署

· 读写机制

· 数据类型

· 执行引擎

DataV

· 使用DataV对实时项目需求计算结果进行可视化展示

sugar

· 结合Springboot对接百度sugar实现数据可视化大屏展示

Maxwell

· 使用Maxwell实时监控MySQL数据变化采集至实时项目

ElasticSearch

· ElasticSearch索引基本操作、案例实操

Kibana

· 通过Kibana配置可视化分析

Springboot

· 利用Springboot开发可视化接口程序

参考技术A 如果要学习数据分析的时候，我们需要学习Excel、数据可视化、数据库知识、Python和R语言、统计知识、分析思维、业务知识，学会了这些知识才能够做好数据分析工作。 参考技术B 统计学等知识。 参考技术C 数据分析需要学习以下几点：

一、统计学。二、编程能力。三、数据库。四、数据仓库。五、数据分析方法。六、数据分析工具。

想要成为数据分析师应该重点学习以下两点：

1.python、SQL、R语言

这些都是最基础的工具，python都是最好的数据入门语言，而R语言倾向于统计分析、绘图等，SQL是数据库。既然是数据分析，平时更多的时间就是与数据分析打交道，数据采集、数据清洗、数据可视化等一系列数据分析工作都需要上面的工具来完成。

2.业务能力

数据分析师存在的意义就是通过数据分析来帮助企业实现业务增长，所以业务能力也是必须。企业的产品、用户、所处的市场环境以及企业的员工等都是必须要掌握的内容，通过这些内容建立帮助企业建立具体的业务指标、辅助企业进行运营决策等。

当然这些都是数据分析师最基本也是各位想转行的小伙伴需要重点学习的内容，以后想要有更好的发展，还需要学习更多的技能，例如企业管理，人工智能等。


关于数据分析师的学习可以到CDA数据分析认证中心看看。全球CDA持证者秉承着先进商业数据分析的新理念，遵循着《CDA职业道德和行为准则》新规范，发挥着自身数据专业能力，推动科技创新进步，助力经济持续发展。

初学web开发需要掌握哪些知识

Web前端开发要学习的知识很杂乱，知识范围也很广。不过，所有技术都是围绕着三大基本技术来进行的:HTML、CSS，JavaScript。前端的开发中，在页面的布局时， HTML将元素进行定义，CSS对展示的元素进行定位，再通过JavaScript实现相应的效果和交互。

掌握三大技能，还要运用多种开发工具辅助开发。目前我们常用到的有：Dreamweaver，Sublime Text ，HBuilder等。

工具只是解决单个问题，在你更加深入了解这个行业之后，你可能还会用到各种不同的框架，目前有三大框架Angular、React、Vue，除此之外还有Bootstrap、 Fbootstrapp、BootMetro、Gumby、IVORY、Kube等，都是需要慢慢接触的。

另外，做前端开发可能还会运用到SEO、DOM、BOM、Ajax等技能，网站性能优化和服务器端的基础知识也是需要了解的。

学前端可能会很难，但世界上没有学不会的知识，相信自己，努力学下去，一定可以成功。

参考技术A 　　HTML（超文本标记语言）是网页的核心，学好HTML是成为Web开发人员的基本条件。HTML很容易学习的，但也很容易误用，要学精还得费点功夫。　　随着HTML5的发展和普及，了解HTML5也将成为Web开发人员的必修课。　　涉及到网页外观时，就需要学习CSS了，它可以帮你把网页做得更美观。　　利用HTML和CSS模拟一些你所见过的网站的排版和布局（色彩，图片，文字样式等等）。　第二步：学习javascript,了解DOM　　JavaScript是一种能让你的网页更加生动活泼的程序语言。学习JavaScript的基本语法，学会用javascript操作网页中dom元素。　　接着学习使用一些javascript库，比如jquery是大部分WEB开发人员都喜欢用的，通过Jquery可以有效的提高JavaScript的开发效率。　第三步：了解Web服务器　　你不必在这上面花太多精力，但对IIS、Apache基本配置要掌握，这方面的知识学起来也相对容易，不会花多长时间。　　学习一点Unix和Linux的基本知识，因为大部分Web服务器都运行在Unix和Linux平台上。　第四步: 学好一门服务器端脚本语言　　服务器端脚本编程（后台开发）也是Web开发人员的基本功之一，你只需挑选一个服务器端脚本语言，然后学好它。　　目前流行的服务器脚本语言有：php、asp.net、jsp、ruby、python、等。　第五步：学习数据库及SQL语法　　要构建动态页面通常会使用到数据库，常用的数据库有SQLServer、Oracle、MySQL 等，它们都会遵循标准的SQL原则。　　通常asp.net 程序使用SqlServer数据库，PHP、java使用Oracle、MySQL数据库。　第六步：综合实战　　选一个你喜欢的后台编程语言，结合之前学到的html,css,javascript 前端技术，实现一个简单的留言本、论坛程序、进而实现一个简单的CMS（内容管理系统）　第七步：学习使用Web框架　　当你掌握了HTML，CSS，JavaScript和服务器端脚本语言后，就应该找一个Web框架加快你的Web开发速度，使用框架可以节约你很多时间。　　比如.net的MVC，JAVA 的SSH，php的cakephp、CodeIgniter、zend，ruby的ROR，python的dijango等等，其实里面都有一些相通之处。　　整个开发过程你还可能会学习到一些工具的使用：　　Visio，Dreamweaver，Vistual Studio、elipse、(Vim, EditPlus, Notpad++)、sqlserver、phpmyadmin，各种浏览器以及FireBug的插件，IE下的WebDevelopmentHelper、IETester等。如果你足够用心，你还发掘出很多不错的资源，例如MSDN，W3cSchool，一些前辈的博客，一些技术论坛等等，这都是你未来前进道路上的财富。如还想深入研究，学学http协议,理解什么是无状态，不然你永远做不好WEB开发，研究web程序服务端运行原理，还有tcp/ip,udp协议等。　　从最简单的HTML到Web框架，内容还是不少，要想精通这里的每一样技术，都得下苦功夫才行。半年的时间，足够你对web开发产生一个有效的认识，这个时候，再思考你进一步学习的方向吧。本回答被提问者采纳 参考技术B

如下。

第一步：学习HTML和CSS

HTML（超文本标记语言）是网页的核心，学好HTML是成为Web开发人员的基本条件。HTML很容易学习的，但也很容易误用，要学精还得费点功夫。

随着HTML5的发展和普及，了解HTML5也将成为Web开发人员的必修课。

涉及到网页外观时，就需要学习CSS了，它可以帮你把网页做得更美观。

利用HTML和CSS模拟一些你所见过的网站的排版和布局（色彩，图片，文字样式等等）。

第二步：学习javascript,了解DOM

JavaScript是一种能让你的网页更加生动活泼的程序语言。学习JavaScript的基本语法，学会用javascript操作网页中dom元素。

接着学习使用一些javascript库，比如jquery是大部分WEB开发人员都喜欢用的，通过Jquery可以有效的提高JavaScript的开发效率。

第三步：了解Web服务器

你不必在这上面花太多精力，但对IIS、Apache基本配置要掌握，这方面的知识学起来也相对容易，不会花多长时间。

学习一点Unix和Linux的基本知识，因为大部分Web服务器都运行在Unix和Linux平台上。

第四步: 学好一门服务器端脚本语言

服务器端脚本编程（后台开发）也是Web开发人员的基本功之一，你只需挑选一个服务器端脚本语言，然后学好它。

目前流行的服务器脚本语言有：php、asp.net、jsp、ruby、python、等。

第五步：学习数据库及SQL语法

要构建动态页面通常会使用到数据库，常用的数据库有SQLServer、Oracle、MySQL 等，它们都会遵循标准的SQL原则。

通常asp.net 程序使用SqlServer数据库，PHP、java使用Oracle、MySQL数据库。

第六步：综合实战

选一个你喜欢的后台编程语言，结合之前学到的html,css,javascript 前端技术，实现一个简单的留言本、论坛程序、进而实现一个简单的CMS（内容管理系统）

第七步：学习使用Web框架

当你掌握了HTML，CSS，JavaScript和服务器端脚本语言后，就应该找一个Web框架加快你的Web开发速度，使用框架可以节约你很多时间。

比如.net的MVC，JAVA 的SSH，php的cakephp、CodeIgniter、zend，ruby的ROR，python的dijango等等，其实里面都有一些相通之处。

整个开发过程你还可能会学习到一些工具的使用：

Visio，Dreamweaver，Vistual Studio、elipse、(Vim, EditPlus, Notpad++)、sqlserver、phpmyadmin，各种浏览器以及FireBug的插件，IE下的WebDevelopmentHelper、IETester等。如果你足够用心，你还发掘出很多不错的资源，例如MSDN，W3cSchool，一些前辈的博客，一些技术论坛等等，这都是你未来前进道路上的财富。如还想深入研究，学学http协议,理解什么是无状态，不然你永远做不好WEB开发，研究web程序服务端运行原理，还有tcp/ip,udp协议等。

从最简单的HTML到Web框架，内容还是不少，要想精通这里的每一样技术，都得下苦功夫才行。半年的时间，足够你对web开发产生一个有效的认识，这个时候，再思考你进一步学习的方向吧。

参考技术C 首先我们要分清前端这部分的分工，一般来讲分为：设计和开发。设计是设计师的工作，设计师按照用户需求出设计图，他们使用的工具一般是fireworks、Dreamweaver和photoshop这类设计工具，图片出来后，前端开发就需要按照图片的设计制作HTML静态页面，那么这就是前端开发的主要工作了。

Web前端工程师是协调前端工程师、后端程序员实现网站页面活程序的界面美化、交互体验的IT技术开发人员,需要精通HTML、CSS、JavaScript、jQuery、Ajax等核心的Web前端技术,具备互联网交互设计能力,熟悉Vue、React、angularjs 等最新的框架。

web前端学习主要包括：HTML、CSS、JavaScript、jQuery、Ajax

HTML：不是编程语言，仅仅是数据格式

CSS：无类型的样式修饰语言，算弱类型语言；需理解每个元素属性、样式等

JavaScript：学习起来相对来说不算太难，入手快

jQuery、Ajax：如果想在前端这块混的好，这两门语言一定要掌握（虽然不一定要用，但一定要会）
希望我的回答能帮助到您！加油 参考技术D

初学web开发需要掌握哪些知识？Web开发框架也可以理解为B/S(Brouser/Server)开发，是一种基于浏览器载体的框架，包含前端、后端和数据库三个大的方向，各个方向的工具技术都不一样。现在主流的工具技术包含.NET、SqlServer、Bootstrap等，开发工具也会不一样。

Web开发框架知识点

Web前端开发技术框架包括三个要素：HTML、CSS和JavaScript，当然还有很多高级的前端框架，比如bootstrap、Jquery等。

Web后端技术框架也有很多，比如.Net、JAVA、PHP等，各大语言都有其开发架构和工具，像.NET的MVC架构和Visual Studio工具，JAVA的J2EE架构和Eclipse工具。

数据库现在有三种主流的关系型数据库：Mysql\\SQLserver\\Oracle，还有Nosql非关系型数据库：Redis、Mogodb等。开发工具有SQL Server Management Studio、Navicat等。