大数据基础

Posted 2022-11-19 wenyitao

知识地图

一：大数据基础

1.三次信息化浪潮：

信息化浪潮	发生时间	标志	解决问题	代表企业
第一次浪潮	1980年前后	个人计算机	信息处理	Inter AMD IBM 苹果等
第二次浪潮	1995年前后	互联网	信息传输	雅虎 谷歌 阿里巴巴 百度 腾讯等
第三次浪潮	2010年前后	物联网 云计算和大数据	信息爆炸	亚马逊 谷歌 阿里云 IBM等

 

 

 

 

 

 

2.信息科技为大数据时代提供技术支撑：

　　存储设备容量不断增加

　　CPU处理能力大幅提升

　　网络带宽不断增加

3.数据产生方式的变革促进=成大数据时代的来临（三个阶段）：

　　运营式系统阶段

　　用户原创内容阶段

　　感知式系统阶段

4.大数据的4个特点：

　　数据量大

　　数据类型繁多

　　处理速度块

　　价值密度低

5.大数据对科学研究的影响（四种范式）：

　　实验科学

　　理论科学

　　计算科学

　　数据密集型科学

6.大数据对思维方式的影响：

　　全样而非抽样

　　效率而非精确

　　相关而非因果

7.大数据对社会发展的影响

　　大数据决策成为一种新的决策方式

　　大数据应用促进信息技术与各行业的深度融合

　　大数据开发推动新技术和新应用的不断涌现

8.大数据、云计算和物联网三者之间的关系

9.hadoop 生态系统

三大组件：HDFS（分布式文件系统）、MapReduce（f分布式计算框架）、YARN（z资源调度和管理框架）

二.Linux常用命令　

　　find 在指定目录下查找文件
　　chown 将指定文件的拥有者改为指定的用户或组
　　file 辨识该文件的类型
　　cat 用于连接文件并打印到标准输出设备上
　　mv 用来为文件或目录改名、或将文件或目录移入其它位置
　　rm 用于删除一个文件或者目录
　　touch 用于修改文件或者目录的时间属性，包括存取时间和更改时间
　　cp 主要用于复制文件或目录
　　read 用于从标准输入读取数值
　　grep 用于查找文件里符合条件的字符串
　　tr 用于转换或删除文件中的字符
　　fold 用于限制文件列宽
　　cd 用于切换当前工作目录至 dirName(目录参数)
　　du 用于显示目录或文件的大小
　　mkdir 用于建立名称为 dirName 之子目录
　　mmd 用于在MS-DOS文件系统中建立目录
　　pwd 用于显示工作目录
　　mount 挂载Linux系统外的文件
　　ls 用于显示指定工作目录下之内容（列出目前工作目录所含之文件及子目录)
　　useradd 用于建立用户帐号
　　date 可以用来显示或设定系统的日期与时间
　　exit 用于退出目前的shell
　　sleep 可以用来将目前动作延迟一段时间
　　kill 用于删除执行中的程序或工作
　　shutdown 可以用来进行关机程序
　　swatch 用于系统监控程序
　　id 用于显示用户的ID，以及所属群组的ID
　　su 用于变更为其他使用者的身份，除 root 外，需要键入该使用者的密码
　　clear 用于清除屏幕