时间:2021-05-20
1 前言
Spring Cloud Data Flow是什么,虽然已经出现一段时间了,但想必很多人不知道,因为在项目中很少有人用。不仅找不到很多中文资料,英文资料也一样少的可怜。这让探索的路更加艰辛,也更加有趣吧。
Spring Cloud Data Flow是基于微服务的,专门用于流式和批式数据处理的框架。
2 基本概念
2.1 数据处理模式
数据处理有两种模式,分别是Streaming流式处理和Batch批次处理。Streaming是长时间一直存在的,你数据来了我就处理,没来我就等着,基于消息驱动。Batch是处理时间较短的,启动一次处理一次,处理完就退出任务,需要去触发任务。
一般地,我们会基于Spring Cloud Stream框架来开发Streaming应用,而基于Spring Cloud Task或Spring Batch框架来开发Batch应用。完成开发后,可以打包成两种形式:
对于Stream,有三个概念是需要理解的:
2.2 特性
Spring Cloud Data Flow有许多好的特性值得我们学去使用它:
2.3 服务端组件
服务端有两个重要的组件:Data Flow Server和Skipper Server。两者作用不同,互相协作。
Data Flow Server的主要作用有:
可以看出,如果不需要使用Stream,可以不用部署Skipper。两者都需要依赖关系型数据库(RDBMS),默认会使用内置的H2,支持的数据库有H2、HSQLDB、MYSQL、Oracle、PostgreSql、DB2和SqlServer。
2.4 运行环境
优秀的Spring的解耦能力总是特别强,Server和应用可以运行在不同的平台。我们可以把Data Flow Server和Skipper Server部署在Local、Cloud Foundry和Kuernetes,而Server又可以把应用部署在不同的平台。
一般情况下,我们会把Server和应用部署在同一平台上。对于生产环境,建议还是在Kuernetes上比较合适。
3 本地模式安装使用
为了快速体验,我们使用最简单的本地运行环境。
3.1 下载Jar包
下载以下三个jar包:
wget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-dataflow-server/2.5.3.RELEASE/spring-cloud-dataflow-server-2.5.3.RELEASE.jarwget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-dataflow-shell/2.5.3.RELEASE/spring-cloud-dataflow-shell-2.5.3.RELEASE.jarwget https://repo.spring.io/release/org/springframework/cloud/spring-cloud-skipper-server/2.4.3.RELEASE/spring-cloud-skipper-server-2.4.3.RELEASE.jar如果是简单的Batch应用,可以只下载spring-cloud-dataflow-server-2.5.3.RELEASE.jar。
3.2 启动应用
# 启动Skipper,默认端口为7577java -jar spring-cloud-skipper-server-2.4.3.RELEASE.jar# 启动Data Flow Server,默认端口为9393java -jar spring-cloud-dataflow-server-2.5.3.RELEASE.jar启动完成后,访问UI:http://localhost:9393/dashboard
3.3 部署应用
3.3.1 添加应用Applications
只有添加了应用,才能部署Batch和Stream。官方提供了示例Applications,我们直接使用就可以了:
添加成功后,在应用列表可以查看:
3.3.2 创建Task
创建Task可以图形化创建,也可以通过DSL来创建,非常方便:
定义好Task后,输入名字创建:
3.3.3 运行Task
直接点击运行:
可以传入参数:
3.3.4 查看Task运行情况
可以查看运行日志:
3.4 Data Flow Shell命令行
除了在网页上,还可以通过命令行模式来与Server进行交互。
启动应用:
$ java -jar spring-cloud-dataflow-shell-2.5.3.RELEASE.jar ____ ____ _ __ / ___| _ __ _ __(_)_ __ __ _ / ___| | ___ _ _ __| | \___ \| '_ \| '__| | '_ \ / _` | | | | |/ _ \| | | |/ _` | ___) | |_) | | | | | | | (_| | | |___| | (_) | |_| | (_| | |____/| .__/|_| |_|_| |_|\__, | \____|_|\___/ \__,_|\__,_| ____ |_| _ __|___/ __________ | _ \ __ _| |_ __ _ | ___| | _____ __ \ \ \ \ \ \ | | | |/ _` | __/ _` | | |_ | |/ _ \ \ /\ / / \ \ \ \ \ \ | |_| | (_| | || (_| | | _| | | (_) \ V V / / / / / / / |____/ \__,_|\__\__,_| |_| |_|\___/ \_/\_/ /_/_/_/_/_/2.5.3.RELEASEWelcome to the Spring Cloud Data Flow shell. For assistance hit TAB or type "help".Successfully targeted http://localhost:9393/dataflow:>app list╔═══╤══════╤═════════╤════╤════════════════════╗║app│source│processor│sink│ task ║╠═══╪══════╪═════════╪════╪════════════════════╣║ │ │ │ │composed-task-runner║║ │ │ │ │timestamp-batch ║║ │ │ │ │timestamp ║╚═══╧══════╧═════════╧════╧════════════════════╝dataflow:>4 总结
本文使用的是官方提供的应用,我们可以自己开发应用并注册到Server上。Local模式适合开发环境适合,生产环境还是部署在Kubernetes比较靠谱。后面我们再来探索吧。
到此这篇关于Spring Cloud Data Flow初体验以Local模式运行的文章就介绍到这了,更多相关Spring Cloud Data Flow初体验内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
1.官方文档https://cloud.spring.io/spring-cloud-static/spring-cloud-openfeign/2.2.2.R
文档地址https://github.com/alibaba/spring-cloud-alibaba/blob/master/spring-cloud-ali
引入依赖org.springframework.cloudspring-cloud-dependencies${spring-cloud.version}pom
1.添加依赖 org.springframework.cloud spring-cloud-starter-netflix-eureka-client2.添
在Spring-Cloud-Gateway之请求处理流程文中我们了解最终网关是将请求交给过滤器链表进行处理,接下来我们阅读Spring-Cloud-Gatewa