时间:2021-05-19
Flink在处理流式任务的时候有很大的优势,其中windows等操作符可以很方便的完成聚合任务,但是Flink是一套独立的服务,业务流程中如果想使用需要将数据发到kafka,用Flink处理完再发到kafka,然后再做业务处理,流程很繁琐。
比如在业务代码中想要实现类似Flink的window按时间批量聚合功能,如果纯手动写代码比较繁琐,使用Flink又太重,这种场景下使用响应式编程RxJava、Reactor等的window、buffer操作符可以很方便的实现。
响应式编程框架也早已有了背压以及丰富的操作符支持,能不能用响应式编程框架处理类似Flink的操作呢,答案是肯定的。
本文使用Reactor来实现Flink的window功能来举例,其他操作符理论上相同。文中涉及的代码:github
Flink对流式处理做的很好的封装,使用Flink的时候几乎不用关心线程池、积压、数据丢失等问题,但是使用Reactor实现类似的功能就必须对Reactor运行原理比较了解,并且经过不同场景下测试,否则很容易出问题。
下面列举出实现过程中的核心点:
入门Reactor的时候给的示例都是创建Flux的时候同时就把数据赋值了,比如:Flux.just、Flux.range等,从3.4.0版本后先创建Flux,再发送数据可使用Sinks完成。有两个比较容易混淆的方法:
在此示例场景中,选择的是Sinks.many().unicast()
官方文档:https://projectreactor.io/docs/core/release/reference/#processors
上面方法的对象背压策略支持两种:BackpressureBuffer、BackpressureError,在此场景肯定是选择BackpressureBuffer,需要指定缓存队列,初始化方法如下:Queues.get(queueSize).get()
数据提交有两个方法:
在此场景我们不希望丢数据,可自定义失败策略,提交失败无限重试,当然也可以调用异步方法自己重试。
Sinks.EmitFailureHandler ALWAYS_RETRY_HANDLER = (signalType, emitResult) -> emitResult.isFailure();
在此之后就就可以调用Sinks.asFlux开心的使用各种操作符了。
在此之后就就可以调用Sinks.asFlux开心的使用各种操作符了。
Reactor支持两类窗口聚合函数:
在此场景中,使用buffer即可满足需求,bufferTimeout(int maxSize, Duration maxTime)支持最大个数,最大等待时间操作,Flink中的keys操作可以用groupBy、collectMap来实现。
Reactor经过buffer后是一个一个的发送数据,如果使用publishOn或subscribeOn处理的话,只等待下游的subscribe处理完成才会重新request新的数据,buffer操作符才会重新发送数据。如果此时subscribe消费者耗时较长,数据流会在buffer流程阻塞,显然并不是我们想要的。
理想的操作是消费者在一个线程池里操作,可多线程并行处理,如果线程池满,再阻塞buffer操作符。解决方案是自定义一个线程池,并且当然线程池如果任务满submit支持阻塞,可以用自定义RejectedExecutionHandler来实现:
RejectedExecutionHandler executionHandler = (r, executor) -> { try { executor.getQueue().put(r); } catch (InterruptedException e) { Thread.currentThread().interrupt(); throw new RejectedExecutionException("Producer thread interrupted", e); } }; new ThreadPoolExecutor(poolSize, poolSize, 0L, TimeUnit.MILLISECONDS, new SynchronousQueue<>(), executionHandler);提交任务:提交数据支持同步异步两种方式,支持多线程提交,正常情况下响应很快,同步的方法如果队列满则阻塞。
丰富的操作符处理流式数据。
buffer操作符产生的数据多线程处理:同步提交到单独的消费者线程池,线程池任务满则阻塞。
消费者线程池:支持阻塞提交,保证不丢消息,同时队列长度设置成0,因为前面已经有队列了。
背压:消费者线程池阻塞后,会背压到buffer操作符,并背压到缓冲队列,缓存队列满背压到数据提交者。
实现的Flink的功能:
优势:
劣势:
本文源码地址:https://github.com/sofn/reactor-window-like-flink
Reactor官方文档:https://projectreactor.io/docs/core/release/reference/
Flink文档:https://ci.apache.org/projects/flink/flink-docs-stable/
Reactive操作符:http://reactivex.io/documentation/operators.html
以上就是如何使用Reactor完成类似Flink的操作的详细内容,更多关于使用Reactor完成类似Flink的操作的资料请关注其它相关文章!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
织梦dedecms标签{dede:flink/}用法首先来了解一下{dede:flink/}的使用,主要支持下边几个属性,type、row、titlelen、l
简介在Spring5中,SpringMVC引入了webFlux的概念,webFlux的底层是基于reactor-netty来的,而reactor-netty又使
京东白条是京东内部出来的类似信用卡购物服务,那么京东白条怎么使用?下面我们一起来看看操作教程。京东白条怎么用?京东白条如何使用使用教程这里简单说下京东白条如何激
Bandicam如何录制全屏窗口?很多朋友可能还不知道使用Bandicam软件时如何录制全屏窗口,方法其实很简单,只需轻松三步,便可完成操作,下面就是使用Ban
Bandicam如何录制矩形窗口?很多朋友可能还不知道使用Bandicam软件时如何录制矩形窗口,方法其实很简单,只需轻松三步,便可完成操作,下面就是使用Ban