小滴课堂海量数据处理商用短链平台大课

Posted 2022-06-25 小滴课堂

一、海量数据大课+架构课程简介

• 海量数据项目大课，是小滴课堂准备耗时近1年的综合性实战项目，从0~1开发商用短链平台；

• 从产品需求文档定制出发，掌握核心要点和互联网大厂专业术语，项目周期和背景

• 采用新版微服务架构体系+容器编排+海量数据处理+大数据技术栈+分布式调度追踪

• 分布式事务+数据一致性处理+分布式锁解决方案

• 掌握Flink实时计算+大数据分层清洗处理+ClickHouse实战

• 新一代容器编排平台Rancher2.5部署多节点+动态扩容实战+容器编排急速认知

• 宏观上看多个中间件和JDK源码设计思想，再项目中应用落地

• 明白大厂面试喜欢问底层原理设计思想，而普通公司没能力

• 架构师的角度看问题抽思想：选多个解决方案，【部分会项目中落地，部分触类旁通】

• Redis6.X惰性删除 在海量数据流量套餐包中应用

• ConcurrentHashMap分段锁在秒杀中的必杀技

• CopyOnWriteArrayList 读写分离+最终一致思想精髓

• Kafka sender和main线程异步发送和liner.ms应用场景

• 技术解决方案和产品需求的博弈对抗

• ...更多

二、大课项目 对应岗位和能力

• 技术：对标阿里P7架构师能力级别+大数据技术栈交集

• 管理：带5到10人团队+考核

• 薪资：一线城市年总包40到70万、月薪25到40k

• 掌握产品分析、解决方案、团队管理方法论，对上汇报沟通+对下管理考核

三、短链平台技术栈

• 微服务技术：新版SpringCloudAlibaba全家桶+SpringBoot2.5+Nacos2.x+MybatisPlus

• 缓存+MQ中间件+调度：Redis6.X+RabbitMQ+Zookeeper+Kafka + XXLJob

• 海量数据分库分表+文件存储：mysql8.0+ShardingSphere多维度分库分表 + 阿里云OSS

• 实时计算+数据处理+存储可视化：Flink1.13 + ClickHouse + HDFS + 数据清洗分层 + Echart可视化数据

• 分布式链路追踪+监控+持久化存储：Apache Skywalking + ElasticSearch7.X

• 上线部署：Jenkins CICD + 阿里云Git仓库+ 阿里云ECS CentOS7 + Rancher2.5 + 容器编排调度

• 高级测试必备生产环境流量压测：Jmeter5.X单接口压测+混合流量录制+流量压测扩大重放

四、海量数据商用短链平台项目亮点

海量数据下-商用短链平台从0~1实战（P1、P2、P3 难度逐级下降）

账号微服务

账号模块

图形验证码防刷设计（P2）

短信验证码接入(P2)

高并发下新用户免费流量包处理（P1）

分布式文件存储（P2）

流量包模块(重点：多场景分布式事务+锁、数据一致性、业务复杂)

流量包使用管理（P1）

海量数据下流量包过期处理解决方案：惰性+随机（P1）

海量数据下每日流量包更新解决方案：惰性（P1）

高并发下流量包扣减处理（P1）

高并发、多案例分布式事务+锁、复杂业务逻辑（P1）

冷热数据归档和处理（P1）

商品微服务

商品模块

商品列表和详情（P3）

支付模块(重点)

AOP应用+自定义注解防重提交设计（P1）

新版微信扫码支付V3接口文档对接（P1）

PC端支付宝支付扫码对接（P2）

多渠道支付回调通知+异步MQ承接(P1)

ShardingSphere从0到1到商业项目实战（P1）

订单数据快照+常规分库分表（P3）

分库分表后C端解析和B端查询处理解决方案一:NoSQL法（P1）

短链服务

短链模块

多案例短链码设计方案和落地（P1）

高性能短链解析（P1）

多案例数据上报设计和方案对比（P1）

C端解析+B端查询 分库分表常见解决方案（P1）

海量数据分库分表处理（P1）

分库分表后C端解析和B端查询处理解决方案二：冗余双写法（P1）

分库分表后短链CURD【冗余双写】 分布式事务数据一致性解决方案（P1）

单一PartitionKey做分库分表解决方案三：基因法（P1）

短链库表数据库【免迁移扩容】解决方案四：基因法(P1)

数据可视化服务

从0~1掌握ClickHouse新一代OLAP数据库（P2）

从从0~1掌握新版分布式调度任务xxl-job+alibabcloud实战（P2）

ClickHouse多场景查询、echart可视化数据对接（P1）

违规短链站点动态黑名单检测解决方案（P1）

实时计算服务

后端工程师角度进阶数据仓库+分层+大数据领域技术视野（P1）

Flink+Kafka短链数据实时计算+多维度数据处理（P1）

Async异步关联查询+多维度宽表拓展（P1）

Flink多流合并+dws层整合ClickHouse存储（P1）

DevOps全链路流程+新一代容器编排平台部署（P1、P2、P3 难度逐级下降）

Jenkins CICD搭建+阿里云Git仓库+Docker私有镜像仓库构建部署(P1)

Rancher2.x部署+快速入门+容器编排核心知识上手+部署Linux公有云（P1）

Skywalking链路追踪+SpringCloud容器化整合+ElasticSearch7.X持久化部署(P2)

Jmeter5.x压测 + 混合流量录制 + 流量压测扩大重放（P1）

汇报、分析、沟通软技能+面试跳槽简历编写

技术选型/团队管理方法论+互联网大厂跨团队职责配合讲解(P1)

需求文档分析/商业化能力讲解（P2）