Google是如何使用云计算和大数据的？

Posted 2021-05-02 北美工程师求职顾问

随着云计算和大数据的普及，越来越多的IT公司选择将自己的大数据解决方案部署在云上面。

云计算和大数据的结合带来了什么便利呢？一个典型的大数据云又是如何设计和部署的呢？

下面我们以Google Cloud作为例子，讲解在工业界里边是如何实际应用云。

Google Cloud

Google作为分布式系统和大数据的领导者，开发了众多跨时代的产品。几乎每一个Google的产品，写出一篇paper就可以创造一个开源社区的。

比如MapReduce发布之后，开源社区根据Google的一篇论文开发出的Hadoop，BigTable发布之后，开源社区又进一步开发出Hbase等等。可以说没有Google的创新，就没有现在开源社区的繁荣。

而Google又把自家的产品，都放在Google Cloud上面，形成了丰富多彩的产品线，吸引了非常多的大大小小的公司如Snapchat等来使用。

Google App Engine (GAE)

我们都知道Web项目都需要大量的Web Service以及为之服务的运维系统。Google在云计算领域首次尝试的就是Google App Engine (GAE)，相对比当时的Amazon EC2，GAE只需开发者上传软件代码，其他部署将由Google完成。

用户只需要熟悉后端语言开发即部署大规模的集群。Google今年更是推出了GAE Flex，可以帮助用户实现auto-scaling，用户不再需要自己部署负载均衡的服务了。大部分中小企业的网站几乎都可以无缝衔接到GAE上。

BigTable

BigTable的底层是注明的Google File System (GFS)，他实现了数据中心级别的可靠的分布式存储。

也是最早的NoSQL数据库的一种。各种网站如果有需要永久存储的数据，一般都可以存放在BigTable里边，Google Cloud会自动帮你做replication，分布在不同的服务器节点里边，这样实现了可靠的分布式存储。

Dataflow

Dataflow的底层实现利用了大名鼎鼎的MapReduce的升级版Flume。

Dataflow特别方便进行大量的批处理，举个例子来说，比如要把所有的用户数据里边的格式都升级一遍，用GAE或者其他service是很难实现的。

Dataflow也提供了特别多的接口，诸如BigQuery, Datastore, BigTable等等也是为了方便各种批处理。最近Google还提供了streaming（流服务）版本的Dataflow，可以实现持续不断的批处理。

BigQuery

BigQuery相当于是Cloud version的SQL，可以方便使用各种复杂的查询语言查找数据。

这个尤其适合数据分析师进行各种数据分析，几乎各种SQL的语法都是支持的。

但是BigQuery在scaling上并不如BigTable，并不是面向用户的，所以并不适合直接用来存储用户数据。

只适合做一些离线分析，数据来源很多都是Dataflow从BigTable里边dump出来的一些拷贝。

其他服务

Google Cloud还有非常多的其他服务，诸如支持消息队列处理的Pubsub，支持缓存的Memchace，支持Monitoring的Stackdriver，等等完整的构成了一个企业数据云所必须的各种服务，可以满足大到Snapchat级别，小到各种startup的不同业务需求。

如果还想学习更多关于数据云的内容，来Offer推出了新一期的项目实战班，以一线公司Senior Engineer领军，以高强度，针对性 (每周4节课) 对全栈开发岗位进行专业培训，让学员通过参与项目，亲身经历完整的全栈开发过程。

培训目标

2个月6个工业界大项目，极大提高拿到面试的几率。来Offer千名学员拿到面试机会的秘密武器。

简介

以一线公司Senior Engineer领军，以高强度，针对性 (每周4节课) 对全栈开发岗位进行专业培训，让学员通过参与项目，亲身经历完整的全栈开发过程。

涵盖前端、后端、移动端、云、大数据等多个类别，由经验丰富的资深工程师和数据科学家手把手教会同学们整套IT项目开发和设计知识与技能。

无论是Full stack Engineer，还是单独的Web Developer，Mobile Developer, Frontend Engineer等职位，

全栈开发实战班都能帮助同学们突破面试拿到Offer。

本期看点

本期项目班进行了较大幅度的改革。

新增了一个云计算和大数据项目，利用Google Cloud以及BigQuery、BiqTable、ElasticSearch以及Dataflow等最新Google的主流大数据技术搭建基于Geo-index的下一代社交网络项目。

适合学员

专业基础不限。全栈开发知识较薄弱或项目经验较少的求职者。

如果你不想仅仅蜻蜓点水地抄一个项目，而是深层次了解并熟悉掌握Full stack engineer 的skill，并用6个大项目武装自己的简历，以压倒性的优势拿到多个大公司面试机会，这个班正是为你准备的。

课程时长

• 10周，共40节课

• 每周三节大课+1节Office hour。

• 每节课的前半部分为理论内容，后半部分为老师带领同学手把手实际操作内容写代码。每节课历时2小时。
  

六大项目详细介绍

Event推荐系统

推荐系统是所有IT公司获取利润的来源，无论是大公司如Google、Facebook、Amazon，还是各类Startup如Airbnb、Uber、Pinterest都需要一套高性能的推荐系统。

本期项目实战班将带领同学了解一个推荐系统是如何从设计开始到具体实现的方方面面，实际设计和开发一个Event推荐和Ticket搜索系统，既有前端页面开发，也有后端服务和数据库的开发，并且部署到Amazon Cloud上进行测试和维护。

涵盖的主流技术包括mysql, MongoDB, MapReduce，REST API, Java Servlet, html, javascript, OOD, Test, Cloud Computing等等全方面的学习，完整掌握一个全栈工程师所必须的设计和开发能力。

Log分析系统

随着云计算和大数据的不断普及，Log越来越成为工业界分析大系统稳定性的重要工具，普通学校是不会教如何收集Log并且分析Log的。

本期项目实战班将从浅入深讲解在业界是如何从云平台收集Log，如何清洗和保存，并且使用Kibana做出各种极具商业价值的分析，比如基于时间序列的系统资源分析和基于地理信息的用户行为分析。

涵盖的主流技术包括了ElasticSearch, Amazon Cloud, Kibana, Logstash等。

基于Geo-index的下一代社交网络项目

随着主流的社交网络如微信、Facebook逐步普及，业界也在开始思考下一代的社交网络的雏形。

比如来说下一代的社交网络应该具备更好的用户体验（过滤各种假新闻和垃圾广告)以及更好的内容展示（时间线排序已经逐步被淘汰）。

本期项目实战班将分析各种社交网络的利弊 ，利用Google Cloud以及Google的大数据平台(BigTable, BigQuery, Dataflow等) 讲解如何搭建一个基于Geo-index的下一代社交网络项目，很多新的features是已有的社交网络都没有的。

涵盖了ElasticSearch, Google Cloud, Dataflow, BigTable, BigQuery, ios开发等内容。

城市热点搜索Android App

随着整个IT产业不断从Web迁移到Mobile的服务，Mobile Developer有大量的空缺职位。几乎每一个IT公司都配有android和iOS开发团队。深入学习Android项目有助于同学们获取更多的面试经验。

本期项目实战班将带领同学们学习Android开发的各项基础知识，然后利用Google Firebase（面向移动的数据库API）来提供搜索附近热门活动和新闻的Android app。

涵盖了基础的Android知识(ListView, MapView, Fragment, Activity)，以及最新出炉的Google Firebase以及广泛使用的Admob等广告投放工具。

Outlet shopping calculator (iOS app)

iOS也是具有大量空缺岗位的行业，各大主流IT公司对于具有项目经验的iOS developer是非常求贤如渴的。

本期项目实战班将带领同学们掌握基本的iOS开发，深入学习UIView, UI Control等技术，做出一个具有美观大方同时又非常具有实用性的Outlet shopping计算器，同学们甚至可以在逛街的时候计算到底节省了多少钱。

涵盖了基础的iOS知识(Ui View, UI Control) 等。

餐馆搜索iOS app

餐馆搜索是第二个iOS项目。

本期项目将教会同学使用复杂的Rest API来获取额外的信息，用户可以搜索附近的餐馆并且根据个人喜好，由背后的推荐系统推荐热门的餐馆给用户。

涵盖了Yelp API，MVC，TableView以及其他复杂的iOS知识

课程优势

每期更新的实用知识体系

课程旨在让同学学会真知识和拿到Offer,把系统设计知识与具体案例分析相结合, 真正教会学生从资深工程师的角度从顶端开始设计IT系统。授课教师结合自己多年的工作经验，手把手教会学生最流行的技术。每一期的project都根据当前最新的热点做了增添和删改，保证每一期的内容都是既具有竞争力，同时又有很好的可操作性。

最全面的课程设置

课程内容基本涵盖了IT项目设计领域的所有重要知识点，同时包含大量的工业界最新前沿技术。不论是REST、MySQL、Web开发、HTML/CSS/Javascript等基础性知识，还是Android、MongoDB、ElasticSearch、NodeJS、Amazon EC2、Docker、Googlel Cloud等最新流行技术，均由授课老师深入浅出的教学，让非CS专业的同学在完成课程之后，在实战能力上不逊色于普通CS Master背景同学。

最真实的案例实践

在案例实践方面，本课程将精讲6个大项目：Event推荐、用户分析、社交网络等。每一个项目的内容都既贴近生活，使非CS背景的同学简单理解、快速上手，同时又能提供各种拓展，使基础好的同学能够进一步提升能力。完成课程之后，每位同学都可以写出不一样的简历。

最细致的课程追踪

除了40节课程的系统训练与每周的答疑课时间，授课教师会在课程期间随时回答学生的问题，课程结束后仍能为学生进行技术答疑。对每个学生的基础能力做出评估并且针对职业规划提出针对性建议，并持续追踪学生的求职情况。

具体课程安排

（10周, 40节课，6个项目）

请上下滑动

第一周：后端开发

• 如何设计一个工业界level的IT project

• 搭建第一个Web Server

• Restful API的设计

• Ticket Master API

• 推荐系统设计

第二周：高级后端开发

• MySQL以及Relational SQL

• MongoDB以及NoSQL

• MapReduce 及其在亚马逊产品分类中的应用

  
  

第三周：高级后端开发

• Index, Text Search and Search Engine

• 机器学习以及人工智能在推荐系统中的应用(TF-IDF, PageRank)

• Elastic Search 及其在用户分析和地理分析中的应用 (Kibana, Logstash)

• Test (Load Test, JUnit)

第四周：前端开发

• HTML 以及 HTML5 CSS

第五周：前端开发

• SCSS

• Javascript

• UI/UX 设计及其在项目中的应用

第六周：大数据开发

• Go Service

• BigTable

• BigQuery

  
  

第七周：大数据开发

• Dataflow

• Google Cloud Service

第八周：移动开发

• Android 介绍

• Android Lifecycle

• iOS Intro

第九周：移动开发

• Android Activity and Fragment

• Google Map API

• Google Firebase

• iOS UI View

第十周：高级移动开发

• Android Ecosystem (Google AdMod等)

• MVC

• Backend Integration

项目验收

选修课程包括但不限于：

• Docker及Container

• Django以及MVC

• Session & Cookie

• Web Security 网络安全

报名方式

新一期「项目实践项目」将于7/11日开班！

免费试听预约即日开放，详情请咨询小助手。

讲座预告

7月9日

美西时间 3:00pm - 4:00pm

如何拥有一份让面试官青睐的简历？

主讲人：来offer金牌教师Vincent

求职，你只需要一门课程！