大数据之旅

Posted 2021-05-13 学而知之@

一、前言：

说到大数据、数仓（离线、实时）、OLAP、计算引擎等，相信大家或多或少的都知道些，但我们怎么才能将这些抽象的概念变成自己升职加薪的技能呢，或许在我不断更新的博文中大家可以得到一丝丝帮助。

本人写博客是为了梳理、记录在工作、学习过程中get到的知识点，只有适时总计、归纳才能将所学到的知识点串联起来，只有串联起来才能不断的提升认知高度和能力水平，只有不断的提升软、硬实力才能让我们在这行安身立命。
OK，闲言少叙，书归正文，那这第一篇就让我们站在上帝的视角来聊聊什么是大数据叭~

二、大数据(Big Data)：

what：

单纯的从概念理解，大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

why：

大数据是互联网高速发展的产物，万物互联的背后就是千千万万的数据在彼此关联。 我们在网上冲浪的每一次点击都会产生千千万万的数据，而这些数据又通过数据采集的技术被保存下来。不用久而久之，现在全球每天产生的数据量已经是非常巨大的量级了~

who：

说到大数据只是一个抽象的概念，但是在企业中可以理解成是解决问题的技术。而现在基本上所有的企业都会用到大数据技术处理生产中遇到的问题，例如：阿里、京东、百度、字节等等大大小小的互联网、非互联网公司都在采用大数据技术来实现业务增长。

when：

至于什么时候会用到大数据技术，可以理解成无时无刻不被大数据技术包围着。以共享单车为例：打开APP会显示周围的单车、扫码解锁单车、骑上单车APP记录骑行的时间和距离、锁车结算。这是整个骑车的过程，这个过程中就是实时计算的技术在支撑着，而实时计算技术是当下大数据框架中的重中之重。至于什么是实时计算，咱们后文书再叙，别急，慢慢来~

where：

在企业中大数据技术已经渗透到各个业务线中。以美团为例：外卖业务、出行业务、文旅业务等，支撑这些业务高速发展的背后就是大数据技术。

how：

说到如何使用就有的聊了，作为一名搞大数据技术的我还是乐意说这个话题的。但是这些技术实在太庞杂了，但说到大数据不得不提的就是hadoop，目前基本上所有的技术架构中都有hadoop的存在，它可是大数据发展的基石~

how much：

所谓“多少钱”就是成本嘛，大数据无非就是两个核心问题：数据存储和数据计算。当然，所有的成本也是围绕着两个方面展开的。说白了就是买服务器的开销和维护服务器的开销~公司的运维小哥哥对这个可是门儿清。

三、总结：

大数据技术可以学习、探索的很多，相信很多小伙伴学习大数据技术也不仅仅是喜欢，更能多是通过掌握的技术实现自身价值（养家糊口 ）。但是互联网这个行业是需要我们不断学习、总结的，既然选择了，我们就得义无反顾的走下去。OK，那就整吧，睡什么睡，起来嗨~

PS：下一篇我会出一份比较详细的、当前比较流行的技术框架脑图，然后根据脑图，构建以后的笔记博文。希望兄弟们多提意见、多留言，咱们一起成大佬_{（大佬手下留情、嘴下留德，不喜勿喷}）。