CloudX开发者社群丨Reactive 架构才是未来
Posted 极雨云CloudX
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CloudX开发者社群丨Reactive 架构才是未来相关的知识,希望对你有一定的参考价值。
导读:Reactive 编程模型有哪些价值?它的原理是什么?如何正确使用?本文作者将根据他学习和使用的经历,分享 Reactive 的概念、规范、价值和原理。欢迎同学们共同探讨、斧正。
Reactive 和 Reactive programming
Reactive 直接翻译的意思是反应式,反应性。咋一看,似乎不太好懂。
举个例子:在 Excel 里,C 单元格上设置函数 Sum(A+B),当你改变单元格 A 或者单元格 B 的数值时,单元格 C 的值同时也会发生变化。这种行为就是 Reactive。
在计算机编程领域,Reactive 一般指的是 Reactive programming。指的是一种面向数据流并传播事件的异步编程范式(asynchronous programming paradigm)。
public static void main(String[] args) {
FluxProcessor<Integer, Integer> publisher = UnicastProcessor.create();
publisher.doOnNext(event -> System.out.println("receive event: " + event)).subscribe();
publisher.onNext(1); // print 'receive event: 1'
publisher.onNext(2); // print 'receive event: 2'
}
以上例代码(使用 Reactor 类库)为例,publisher 产生了数据流 (1,2),并且传播给了 OnNext 事件, 上例中 lambda 响应了该事件,输出了相应的信息。上例代码中生成数据流和注册/执行 lambda 是在同一线程中,但也可以在不同线程中。
注:如果上述代码执行逻辑有些疑惑,可以暂时将 lambda 理解成 callback 就可以了。
对于 Reactive 现在你应该大致有一点感觉了,但是 Reactive 有什么价值,有哪些设计原则,估计你还是有些模糊。这就是 Reactive Manifesto 要解决的疑问了。
使用 Reactive 方式构建的系统具有以下特征:
只要有可能, 系统就会及时地做出响应。即时响应是可用性和实用性的基石, 而更加重要的是,即时响应意味着可以快速地检测到问题并且有效地对其进行处理。即时响应的系统专注于提供快速而一致的响应时间, 确立可靠的反馈上限, 以提供一致的服务质量。这种一致的行为转而将简化错误处理、 建立最终用户的信任并促使用户与系统作进一步的互动。
系统在出现失败时依然保持即时响应性。这不仅适用于高可用的、 任务关键型系统——任何不具备回弹性的系统都将会在发生失败之后丢失即时响应性。回弹性是通过复制、 遏制、 隔离以及委托来实现的。失败的扩散被遏制在了每个组件内部, 与其他组件相互隔离, 从而确保系统某部分的失败不会危及整个系统,并能独立恢复。每个组件的恢复都被委托给了另一个(外部的)组件, 此外,在必要时可以通过复制来保证高可用性。(因此)组件的客户端不再承担组件失败的处理。
系统在不断变化的工作负载之下依然保持即时响应性。反应式系统可以对输入(负载)的速率变化做出反应,比如通过增加或者减少被分配用于服务这些输入(负载)的资源。这意味着设计上并没有争用点和中央瓶颈, 得以进行组件的分片或者复制, 并在它们之间分布输入(负载)。通过提供相关的实时性能指标, 反应式系统能支持预测式以及反应式的伸缩算法。这些系统可以在常规的硬件以及软件平台上实现成本高效的弹性。
反应式系统依赖异步的消息传递,从而确保了松耦合、隔离、位置透明的组件之间有着明确边界。这一边界还提供了将失败作为消息委托出去的手段。使用显式的消息传递,可以通过在系统中塑造并监视消息流队列, 并在必要时应用回压, 从而实现负载管理、 弹性以及流量控制。使用位置透明的消息传递作为通信的手段, 使得跨集群或者在单个主机中使用相同的结构成分和语义来管理失败成为了可能。非阻塞的通信使得接收者可以只在活动时才消耗资源, 从而减少系统开销。
-
上面描述有很多专有名词,可能有些疑惑,可以看下相关名词解释。
-
为什么使用 Reactive 方式构建的系统会具有以上价值, 我稍后在 Reactor 章节中介绍。
知道了 Reactive 的概念,特征和价值后,是否有相关的产品或者框架来帮助我们构建 Reactive 式系统呢?在早些时候有一些类库 (Rxjava 1.x, Rx.Net) 可以使用,但是规范并不统一,所以后来 Netfilx, Pivotal 等公司就制定了一套规范指导大家便于实现它(该规范也是受到早期产品的启发),这就是 Reactive Stream 的作用。
Reactive Stream 是一个使用非阻塞 back pressure(回压)实现异步流式数据处理的标准。目前已经在 JVM 和 javascript 语言中实现同一套语意的规范;以及尝试在各种涉及到序列化和反序列化的传输协议(TCP, UDP, HTTP and WebSockets)基础上,定义传输 reactive 数据流的网络协议。
The purpose of Reactive Streams is to provide a standard for asynchronous stream processing with non-blocking backpressure.
当遇到未预料数据流时,依然可以在可控资源消耗下保持系统的可用性。
控制在一个异步边界的流式数据交换。例如传递一个数据到另外一个线程或者线程池,确保接收方没有 buffer(缓存)任意数量的数据。而 back pressure(回压)是解决这种场景的不可或缺的特性。
此标准只描述通过回压来实现异步流式数据交换的必要的行为和实体,最小接口,例如下方的 Publisher, Subscriber。Reactive Streams 只关注在这些组件之间的流式数据中转,并不关注流式数据本身的组装,分割,转换等行为, 例如 map, zip 等 operator。Reactive Streams 规范包括:
产生一个数据流(可能包含无限数据), Subscriber 们可以根据它们的需要消费这些数据。
public interface Publisher<T> {
public void subscribe(Subscriber<? super T> s);
}
Publisher 创建的元素的接收者。监听指定的事件,例如 OnNext, OnComplete, OnError 等。
publicinterface Subscriber<T> {
public void onSubscribe(Subscription s);
public void onNext(T t);
public void onError(Throwable t);
public void onComplete();
}
是 Publisher 和 Subscriber 一对一的协调对象。Subscriber 可以通过它来向 Publisher 取消数据发送或者 request 更多数据。
public interface Subscription {
public void request(long n);
public void cancel();
}
同时具备 Publisher 和 Subscriber 特征。代码1中 FluxProcessor 既可以发送数据(OnNext),也可以接收数据 (doOnNext)。
public interface Processor<T, R> extends Subscriber<T>, Publisher<R> {}
为什么规范强调使用非阻塞异步方式而不是阻塞同步方式?
-
同步方式一般通过多线程来提高性能,但系统可创建的线程数是有限的,且线程多以后造成线程切换开销。
-
同步调用依赖的系统出现问题时,自身稳定性也会受到影响。
实现非阻塞的方式有很多种,为什么规范会选择上述的实现方式呢?
-
thread 不是非常轻量(相比下面几种实现方案)。
-
thread 数量是有限的,最终可能会成为主要瓶颈。
-
有一些平台可能不支持多线程。例如:JavaScript。
-
-
多层嵌套 callback 比较复杂,容易形成"圣诞树" (callback hell)。
-
-
多用于 event loop 架构的语言中,例如:JavaScript。
-
和 Future 很相似。Future 可以认为返回一个独立的元素,而 Rx 返回一个可以被订阅的 Stream。
-
-
-
-
kotlin coroutine 和 goroutine 在语法层面上提供异步支持, 而且比Rx更简洁,但无法跨多个语言平台形成统一的规范。
Reactive 的实现原理个人认为还是回调,kotlin 协程实现原理同样也是回调。但实现回掉的方式不一样。一个是通过事件传播, 一个是通过状态机。但 coroutine 编程的易用性明显强于 Rx,后面有空我会专门写篇文章介绍 kotlin coroutine 的实现原理。
有了 Reactive Stream 这个规范,就会有相应实现该规范的类库。Reactor 就是其中之一。
Reactor 是遵守 Reactive Stream 规范构建非阻塞应用的 Java 语言 Reactive 类库,已经在 spring 5 中集成,与他相似的类库有 RxJava2, RxJs, JDK9 Flow 等。
阿里内部的 Faas 系统目前使用 Reactor 来构建整个系统,包括函数应用和各种核心应用(逻辑架构)。根据我们压测结果显示,使用 Reactive 方式构建的系统确实会有这些特点:
-
回弹性 (Resilient):当函数出现严重超时时 (rt >= 10s),函数上游的 broker, gateway 应用几乎无任何影响。
-
及时响应性:不管是高并发场景(资源足够),还是正常场景,RT 表现一致。
另外从原理上,我认为资源利用率和吞吐量也会高于非反应式的应用。
-
涉及到 IO 的地方几乎全异步化。例如中间件(HSF, MetaQ 等提供异步 API)调用。
-
IO 线程模型变化。使用较少(一般 CPU 核数)线程处理所有的请求。
参考 Netty 中 Reactor IO (worker thread pool) 模型,下方伪代码(kotlin)进行了简化。
// 非阻塞读取客户端请求数据(in), 读取成功后执行lambda.
inChannel.read(in) {
workerThreadPool.execute{
// 阻塞处理业务逻辑(process), 业务逻辑在worker线程池中执行,同步执行完后,再向客户端返回输出(out)
val out = process(in)
outChannel.write(out)
}
}
IO 线程也可以执行业务逻辑 (process),可以不需要 worker 线程池。
// 非阻塞读取客户端请求数据(in), 读取成功后执行lambda
inChannel.read(in) {
// IO线程执行业务逻辑(process), 然后向客户端返回输出(out). 这要求业务处理流程必须是非阻塞的.
process(in){ out->
outChannel.write(out) {
// this lambda is executed when the writing completes
...
}
}
}
以 Reactive 方式构建的系统有很多值得学习和发挥价值的地方,但坦白讲 Reactive programing 方式目前接受程度并不高。特别是使用 Java 语言开发同学,我个人也感同身受,因为这和 Java 面向命令控制流程的编程思维方式有较大差异。所以这里以 Reactor (Java) 学习为例:
反应式的系统有很多优点,但是完整构建反应式的系统却并不容易。不仅仅是语言上的差异,还有一些组件就不支持非阻塞式的调用方式,例如:JDBC。但是有一些开源组织正在推动这些技术进行革新,例如:R2DBC。另外,为了方便构建反应式系统,一些组织/个人适配了一些主流技术组件 reactor-core, reactor-netty, reactor-rabbimq, reactor-kafka 等,来方便完整构建反应式系统。
当你的系统从底层到上层,从系统内部到依赖外部都变成了反应式,这就形成了 Reactive 架构。
https://www.reactivemanifesto.org/
https://www.reactive-streams.org/
https://kotlinlang.org/docs/tutorials/coroutines/async-programming.html
https://projectreactor.io/docs/core/release/reference/index.html
是
由阿里云计算有限公司、重庆两江新区和清控科创控股股份有限公司联合打造的基于互联网、云计算、大数据等数字新经济方向的产业垂直创新孵化与企业服务平台。
其坐落于重庆两江数字经济产业园,内设独立办公区、会议区、洽谈区、接待室、休息区及路演区等功能分区,总面积11450平方米。
项目致力于发展成为重庆市数字经济产业“新引擎”、“新功能平台”、“新协同中心”。着眼未来,协同产业龙头企业、中小微创新创业企业、院校院所产业人才、第三方专业服务机构,面向国内外数字新经济方向产业/企业,开展“云、大、物、智、移”行业资源对接、项目引进、企业孵化、人才培育,以持续助力数字化、智能化为驱动的西部创新中心“窗口”建设,精准服务区域数字新经济发展。
新经济新产业催生新的产教融合人才培养方式,在中国高校创新创业教育联盟云专业委员会、重庆数字经济产业联盟、重庆数字经济产教融合人才发展联盟指导下由CloudX云智能学院成功发布了人才培育计划和青云计划两大人才服务产品,并预计在未来半年内开展100期“青云计划”《数字经济第一课》,搭建共享、共创、共生、共赢的重庆产教融合人才协同创新生态,有效助力区域数字经济方向产教融合工作。
我们欢迎优秀的创新企业和团队入驻,将从市场推广、投融资等方面对企业和团队进行全生命周期的孵化;也欢迎各大院校、企业加入重庆数字经济产教融合人才发展联盟。
招商项目联系人:唐先生13996021262
以上是关于CloudX开发者社群丨Reactive 架构才是未来的主要内容,如果未能解决你的问题,请参考以下文章
C#多线程之旅——介绍和基本概念
线上沙龙丨聚焦金融级数据库架构设计与运维实践
今天直播丨金融级数据库架构设计与运维实践沙龙下午2点开播
活动丨火了两年的微服务架构,为何迟迟难以落地?
副业刚需?同事就用这 10 个开源项目接私活!
刨根问底,Kafka消息中间件到底会不会丢消息