大数据主要学习啥知识

Posted 2023-05-03

参考技术A 首先是基础阶段。这一阶段包括：关系型数据库原理、LINUX操作系统原理及应用。在掌握了这些基础知识后，会安排这些基础课程的进阶课程，即：数据结构与算法、mysql数据库应用及开发、SHELL脚本编程。在掌握了这些内容之后，大数据基础学习阶段才算是完成了。
接下来是大数据专业学习的第二阶段：大数据理论及核心技术。第二阶段也被分为了基础和进阶两部分，先理解基础知识，再进一步对知识内容做深入的了解和实践。基础部分包括：布式存储技术原理与应用、分布式计算技术、HADOOP集群搭建、运维；进阶内容包括：HDFS高可靠、ZOOKEEPER、CDH、Shuffle、HADOOP源码分析、HIVE、HBASE、Mongodb、HADOOP项目实战。
完成了这部分内容的学习，学员们就已经掌握了大数据专业大部分的知识，并具有了一定的项目经验。但为了学员们在大数据专业有更好的发展，所学知识能更广泛地应用到大数据相关的各个岗位，有个更长远的发展前景。
第三阶段叫做数据分析挖掘及海量数据高级处理技术。基础部分有：PYTHON语言、机器学习算法、FLUME+KAFKA；进阶部分有：机器学习算法库应用、实时分析计算框架、SPARK技术、PYTHON高级语言应用、分布式爬虫与反爬虫技术、实时分析项目实战、机器学习算法项目实战。 参考技术B

分享大数据学习路线：

第一阶段为JAVASE+MYSQL+JDBC

主要学习一些Java语言的概念，如字符、bai流程控制、面向对象、进程线程、枚举反射等，学习MySQL数据库的安装卸载及相关操作，学习JDBC的实现原理以及Linux基础知识，是大数据刚入门阶段。

第二阶段为分布式理论简介

主要讲解CAP理论、数据分布方式、一致性、2PC和3PC、大数据集成架构。涉及的知识点有Consistency一致性、Availability可用性、Partition
tolerance分区容忍性、数据量分布、2PC流程、3PC流程、哈希方式、一致性哈希等。

第三阶段为数据存储与计算（离线场景）

主要讲解协调服务ZK(1T)、数据存储hdfs(2T)、数据存储alluxio(1T)、数据采集flume、数据采集logstash、数据同步Sqoop(0.5T)、数据同步datax(0.5T)、数据同步mysql-binlog(1T)、计算模型MR与DAG(1T)、hive(5T)、Impala(1T)、任务调度Azkaban、任务调度airflow等。

第四部分为数仓建设

主要讲解数仓仓库的历史背景、离线数仓项目-伴我汽车（5T）架构技术解析、多维数据模型处理kylin（3.5T）部署安装、离线数仓项目-伴我汽车升级后加入kylin进行多维分析等；

第五阶段为分布式计算引擎

主要讲解计算引擎、scala语言、spark、数据存储hbase、redis、kudu，并通过某p2p平台项目实现spark多数据源读写。

第六阶段为数据存储与计算（实时场景）

主要讲解数据通道Kafka、实时数仓druid、流式数据处理flink、SparkStreaming，并通过讲解某交通大数让你可以将知识点融会贯通。

第七阶段为数据搜索

主要讲解elasticsearch，包括全文搜索技术、ES安装操作、index、创建索引、增删改查、索引、映射、过滤等。

第八阶段为数据治理

主要讲解数据标准、数据分类、数据建模、图存储与查询、元数据、血缘与数据质量、Hive Hook、Spark Listener等。

第九阶段为BI系统

主要讲解Superset、Graphna两大技术，包括基本简介、安装、数据源创建、表操作以及数据探索分析。

第十阶段为数据挖掘

主要讲解机器学习中的数学体系、Spark Mlib机器学习算法库、Python scikit-learn机器学习算法库、机器学习结合大数据项目。

对大数据分析有兴趣的小伙伴们，不妨先从看看大数据分析书籍开始入门！B站上有很多的大数据教学视频，从基础到高级的都有，还挺不错的，知识点讲的很细致，还有完整版的学习路线图。也可以自己去看看，下载学习试试。

Python语言学啥？

现在听说很多编程语言可以很广泛的应用在，编程领域，Python可以更广泛的使用在，人工智能、大数据、数据分析以及数据爬取领域。而且还很简单容易学习。有学过的朋友可以相互交流吗？

这里整理了一份系统全面的Python开发学习路线，主要涉及以下知识，感兴趣的小伙伴欢迎一起来学习~
第一阶段：专业核心基础
阶段目标：
1. 熟练掌握Python的开发环境与编程核心知识
2. 熟练运用Python面向对象知识进行程序开发
3. 对Python的核心库和组件有深入理解
4. 熟练应用SQL语句进行数据库常用操作
5. 熟练运用Linux操作系统命令及环境配置
6. 熟练使用MySQL，掌握数据库高级操作
7. 能综合运用所学知识完成项目
知识点：
Python编程基础、Python面向对象、Python高级进阶、MySQL数据库、Linux操作系统。
1、Python编程基础，语法规则，函数与参数，数据类型，模块与包，文件IO，培养扎实的Python编程基本功，同时对Python核心对象和库的编程有熟练的运用。
2、Python面向对象，核心对象，异常处理，多线程，网络编程，深入理解面向对象编程，异常处理机制，多线程原理，网络协议知识，并熟练运用于项目中。
3、类的原理，MetaClass，下划线的特殊方法，递归，魔术方法，反射，迭代器，装饰器，UnitTest，Mock。深入理解面向对象底层原理，掌握Python开发高级进阶技术，理解单元测试技术。
4、数据库知识，范式，MySQL配置，命令，建库建表，数据的增删改查，约束，视图，存储过程，函数，触发器，事务，游标，PDBC，深入理解数据库管理系统通用知识及MySQL数据库的使用与管理。为Python后台开发打下坚实基础。
5、Linux安装配置，文件目录操作，VI命令，管理，用户与权限，环境配置，Docker，Shell编程Linux作为一个主流的服务器操作系统，是每一个开发工程师必须掌握的重点技术，并且能够熟练运用。
第二阶段：PythonWEB开发
阶段目标：
1. 熟练掌握Web前端开发技术，HTML，CSS，JavaScript及前端框架
2. 深入理解Web系统中的前后端交互过程与通信协议
3. 熟练运用Web前端和Django和Flask等主流框架完成Web系统开发
4. 深入理解网络协议，分布式，PDBC，AJAX，JSON等知识
5. 能够运用所学知识开发一个MiniWeb框架，掌握框架实现原理
6. 使用Web开发框架实现贯穿项目
知识点：
Web前端编程、Web前端高级、Django开发框架、Flask开发框架、Web开发项目实战。
1、Web页面元素，布局，CSS样式，盒模型，JavaScript，JQuery与Bootstrap掌握前端开发技术，掌握JQuery与BootStrap前端开发框架，完成页面布局与美化。
2、前端开发框架Vue，JSON数据，网络通信协议，Web服务器与前端交互熟练使用Vue框架，深入理解HTTP网络协议，熟练使用Swagger，AJAX技术实现前后端交互。
3、自定义Web开发框架，Django框架的基本使用，Model属性及后端配置，Cookie与Session，模板Templates，ORM数据模型，Redis二级缓存，RESTful，MVC模型掌握Django框架常用API，整合前端技术，开发完整的WEB系统和框架。
4、Flask安装配置，App对象的初始化和配置，视图函数的路由，Request对象，Abort函数，自定义错误，视图函数的返回值，Flask上下文和请求钩子，模板，数据库扩展包Flask-Sqlalchemy，数据库迁移扩展包Flask-Migrate，邮件扩展包Flask-Mail。掌握Flask框架的常用API，与Django框架的异同，并能独立开发完整的WEB系统开发。
第三阶段：爬虫与数据分析
阶段目标：
1. 熟练掌握爬虫运行原理及常见网络抓包工具使用，能够对HTTP及HTTPS协议进行抓包分析
2. 熟练掌握各种常见的网页结构解析库对抓取结果进行解析和提取
3. 熟练掌握各种常见反爬机制及应对策略，能够针对常见的反爬措施进行处理
4. 熟练使用商业爬虫框架Scrapy编写大型网络爬虫进行分布式内容爬取
5. 熟练掌握数据分析相关概念及工作流程
6. 熟练掌握主流数据分析工具Numpy、Pandas和Matplotlib的使用
7. 熟练掌握数据清洗、整理、格式转换、数据分析报告编写
8. 能够综合利用爬虫爬取豆瓣网电影评论数据并完成数据分析全流程项目实战
知识点：
网络爬虫开发、数据分析之Numpy、数据分析之Pandas。
1、爬虫页面爬取原理、爬取流程、页面解析工具LXML，Beautifulfoup，正则表达式，代理池编写和架构、常见反爬措施及解决方案、爬虫框架结构、商业爬虫框架Scrapy，基于对爬虫爬取原理、网站数据爬取流程及网络协议的分析和了解，掌握网页解析工具的使用，能够灵活应对大部分网站的反爬策略，具备独立完成爬虫框架的编写能力和熟练应用大型商业爬虫框架编写分布式爬虫的能力。
2、Numpy中的ndarray数据结构特点、numpy所支持的数据类型、自带的数组创建方法、算术运算符、矩阵积、自增和自减、通用函数和聚合函数、切片索引、ndarray的向量化和广播机制，熟悉数据分析三大利器之一Numpy的常见使用，熟悉ndarray数据结构的特点和常见操作，掌握针对不同维度的ndarray数组的分片、索引、矩阵运算等操作。
3、Pandas里面的三大数据结构，包括Dataframe、Series和Index对象的基本概念和使用，索引对象的更换及删除索引、算术和数据对齐方法，数据清洗和数据规整、结构转换，熟悉数据分析三大利器之一Pandas的常见使用，熟悉Pandas中三大数据对象的使用方法，能够使用Pandas完成数据分析中最重要的数据清洗、格式转换和数据规整工作、Pandas对文件的读取和操作方法。
4、matplotlib三层结构体系、各种常见图表类型折线图、柱状图、堆积柱状图、饼图的绘制、图例、文本、标线的添加、可视化文件的保存，熟悉数据分析三大利器之一Matplotlib的常见使用，熟悉Matplotlib的三层结构，能够熟练使用Matplotlib绘制各种常见的数据分析图表。能够综合利用课程中所讲的各种数据分析和可视化工具完成股票市场数据分析和预测、共享单车用户群里数据分析、全球幸福指数数据分析等项目的全程实战。
第四阶段：机器学习与人工智能
阶段目标：
1. 理解机器学习相关的基本概念及系统处理流程
2. 能够熟练应用各种常见的机器学习模型解决监督学习和非监督学习训练和测试问题，解决回归、分类问题
3. 熟练掌握常见的分类算法和回归算法模型，如KNN、决策树、随机森林、K-Means等
4. 掌握卷积神经网络对图像识别、自然语言识别问题的处理方式，熟悉深度学习框架TF里面的张量、会话、梯度优化模型等
5. 掌握深度学习卷积神经网络运行机制，能够自定义卷积层、池化层、FC层完成图像识别、手写字体识别、验证码识别等常规深度学习实战项目
知识点：
1、机器学习常见算法、sklearn数据集的使用、字典特征抽取、文本特征抽取、归一化、标准化、数据主成分分析PCA、KNN算法、决策树模型、随机森林、线性回归及逻辑回归模型和算法。熟悉机器学习相关基础概念，熟练掌握机器学习基本工作流程，熟悉特征工程、能够使用各种常见机器学习算法模型解决分类、回归、聚类等问题。
2、Tensorflow相关的基本概念，TF数据流图、会话、张量、tensorboard可视化、张量修改、TF文件读取、tensorflow playround使用、神经网络结构、卷积计算、激活函数计算、池化层设计，掌握机器学习和深度学习之前的区别和练习，熟练掌握深度学习基本工作流程，熟练掌握神经网络的结构层次及特点，掌握张量、图结构、OP对象等的使用，熟悉输入层、卷积层、池化层和全连接层的设计，完成验证码识别、图像识别、手写输入识别等常见深度学习项目全程实战。 参考技术A Python相比于其他编程语言更容易学习，但是想学精通还是需要选择好的教程和好的师傅的，给你个课程大纲，你对比一下，很全面的！
阶段一：Python开发基础
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。
阶段七：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段八：人工智能
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、数据分析 、图像识别、自然语言翻译等。
阶段九：自动化运维&开发
Python全栈开发与人工智能之自动化运维&开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。
阶段十：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。 参考技术B Python的模块范围很广，模块众多，这也是使得Python成为最重要的计算机语言之一的原因。
您问的这个问题实在是很难回答，因为Python几乎可以用于任何领域。
比如说您电脑上有很多软件，而其中有一部分很可能就是Python开发的，而您根本不知道