宜信开源|微服务任务调度平台SIA-TASK入手实践

引言

最近宜信开源微服务任务调度平台SIA-TASK,SIA-TASK属于分布式的任务调度平台,使用起来简单方便,非常容易入手,部署搭建好SIA-TASK任务调度平台之后,编写TASK后配置JOB进行调度,进而实现整个调度流程。本文新建了JOB示例,该JOB关联了前后级联的两个TASK,TASKONE(前置TASK)和TASKTWO(后置TASK),主要阐述一个JOB怎样关联配置两个级联TASK,以及该JOB是如何通过SIA-TASK实现任务调度,最终实现对两个TASK执行器的调用。 

拓展阅读: 宜信开源|宜信开源微服务任务调度平台SIA—TASK

宜信开源|分布式任务调度平台SIA-TASK的架构设计与运行流程

首先,根据部署文档来搭建任务调度平台。

源码地址:https://github.com/siaorg/sia-task

官方文档:https://github.com/siaorg/sia-task/blob/master/README.md

任务调度平台主要由任务编排中心、任务调度中心以及ZK和DB等第三方服务构成,搭建SIA-TASK任务调度平台需要的主要工作包括:

1.MySQL的搭建及根据建表语句建表

2.zookeeper安装

3.SIA-TASK前端项目打包及部署

4.任务编排中心(sia-task-config)部署

5.任务调度中心(sia-task-scheduler)部署

从github上clone代码仓库并下载源码后,可根据 SIA-TASK部署指南 ,搭建SIA-TASK任务调度平台并启动,详见 SIA-TASK部署指南

搭建好SIA-TASK任务调度平台后,下一步就是TASK执行器实例的编写啦。

其次,根据开发文档来编写TASK执行器实例并启动。

根据 SIA-TASK开发指南 ,编写了两个TASK示例,TASKONE(前置TASK)和TASKTWO(后置TASK),具体开发规则见 SIA-TASK开发指南,TASK示例关键配置即代码在下文有详细展示与介绍。

该示例为springboot项目,并且需要通过POM文件引入SIA-TASK的执行器关键依赖包sia-task-hunter来实现task执行器的自动抓取,首先需要将SIA-TASK源码中的sia-task-hunter包用mvn install命令打包为jar包安装至本地仓库,SIA-TASK源码中的sia-task-hunter包如下图示:

然后就可以进行示例的编写,示例主要包括以下几部分:

配置 POM 文件关键依赖



com.sia
sia-task-hunter
1.0.0

配置文件主要配置项

# 项目名称(必须)
spring.application.name: onlinetask-demo

# 应用端口号(必须)
server.port: 10086

# zookeeper地址(必须)
zooKeeperHosts: *.*.*.*:2181,*.*.*.*:2181,*.*.*.*:2181

# 是否开启 AOP 切面功能(默认为true)
spring.aop.auto: true

# 是否开启 @OnlineTask 串行控制(如果使用则必须开启AOP功能)(默认为true)(可选)
spring.onlinetask.serial: true

编写TASK执行器主要代码

@Controller
public class OpenTestController {
@OnlineTask(description = “success,无入参”,enableSerial=true)
@RequestMapping(value = “/success-noparam”, method = { RequestMethod.POST }, produces = “application/json;charset=UTF-8”)
@CrossOrigin(methods = { RequestMethod.POST }, origins = “*”)
@ResponseBody
public String taskOne() {
Map info = new HashMap();
info.put(“result”, “success-noparam”);
info.put(“status”, “success”);
System.out.println(“调用taskOne任务成功”);
return JSONHelper.toString(info);
}
@OnlineTask(description = “success,有入参”,enableSerial=true)
@RequestMapping(value = “/success-param”, method = { RequestMethod.POST }, produces = “application/json;charset=UTF-8”)
@CrossOrigin(methods = { RequestMethod.POST }, origins = “*”)
@ResponseBody
public String taskTwo(@RequestBody String json) {
Map info = new HashMap();
info.put(“result”, “success-param”+”入参是:”+json);
info.put(“status”, “success”);
System.out.println(“调用taskTwo任务成功”);
return JSONHelper.toString(info);
}
}

当编写完TASK执行器实例后,启动该执行器所在进程

启动日志如下图:

日志表明该进程正常启动,并且TASK执行器信息正常上传至ZK当中,

观察TASK管理界面,如图示:

从图中可知,TASK已同步至数据库中。

再次,需要进行JOB的创建和JOB对TASK的关联及配置。

根据 使用指南 进行如下操作。

创建JOB,配置参数

在JOB管理界面点击 添加Job

点击后进入 添加Job 界面

选定Job_Group,尽量选定所要关联的TASK所属的Group组名。

分别填写Job类型及其他项,Job类型也可以选择FixRate(特定时间点)类型,本例为CRON类型,具体数值为:0/30 * * * * ?,表示从当前时刻开始,每30秒执行一次

点击 添加 ,添加JOB成功。

配置TASK

添加JOB成功后,需要为该JOB配置相应的TASK,可配置单个或多个,本例以配置两个级联TASK为例。

点击 配置TASK 后,进入 Task信息配置 界面。

如上图所示,将需要配置的两个TASK均拉取至右侧,点击 编辑 按钮(铅笔形状),进入TASK 参数配置 界面。

TASKONE参数配置:

TASKTWO参数配置:

按图中编辑完成后,点击 添加 ,成功将TASKONE和TASKTWO配置至JOB中。

添加完毕后,可进行两个TASK的依赖关系配置,如下图所示:

用箭头将TASKONE(前置TASK)指向TASKTWO(后置TASK),即可完成TASK之间的依赖关系设置,点击提交,完成整个JOB的配置,配置完成后,可点击 TASK信息 按钮,查看 TASK配置信息详情 ,观察该JOB的TASK配置情况。

TASK配置信息图

TASK配置信息详情

最后,激活JOB并观察相应日志。

TASK配置成功后,点击 状态操作 下拉按钮中 激活 按钮,激活JOB。

激活JOB后,刷新该界面,可发现该JOB列表调度器(红框处)出现调度器IP及端口号,表示该JOB激活后被该调度器抢占。

先观察管理界面JOB及TASK日志

成功激活JOB后,进入调度日志界面,等待至JOB执行时间后,可查看到该JOB执行日志,如下图示。

标号1:代表该JOB日志。

标号2:代表该JOB所关联的前置TASK(TASKONE)日志。

标号3:代表该JOB所关联的后置TASK(TASKTWO)日志。

标号4:endTask为系统追加的一个虚拟TASK,仅表示该JOB的一次调度过程完成。

同时从执行时间也可观察出,每30秒调度一次。

再观察执行器TASK实例日志

还可观察执行器实例TASK日志,验证是否调用成功。

从日志可知,确实调用成功,并且每30秒调用一次。

停止JOB

当需要停止JOB时,点击 状态操作 下拉按钮中 停止 按钮,停止JOB。

本文仅是对微服务任务调度平台SIA-TASK的初步实践使用,通过以上描述,可实现SIA-TASK对执行器实例TASK实现任务调度的功能,本文中搭建的示例非常简单,适合快速入手SIA-TASK,当然,SIA-TASK还有更加强大的任务调度功能,可以应对更加复杂的业务场景,大家可以继续深度使用体验,将SIA-TASK的功能点和业务相结合,将其应用至更加复杂的业务场景之下。

作者:李兴胜

来源:宜信技术学院

Image placeholder
IT头条
未设置
  93人点赞

没有讨论,发表一下自己的看法吧

推荐文章
宜信微服务任务调度平台建设实践|分享实录

导读:如今,无论是互联网应用还是企业级应用,都充斥着大量的批处理任务,常常需要一些任务调度系统帮助我们解决问题。随着微服务化架构的逐步演进,单体架构逐渐演变为分布式、微服务架构。内容来源:宜信技术学院

一个简单的基于 Redis 的分布式任务调度器 —— Java 语言实现

折腾了一周的JavaQuartz集群任务调度,很遗憾没能搞定,网上的相关文章也少得可怜,在多节点(多进程)环境下Quartz似乎无法动态增减任务,恼火。无奈之下自己撸了一个简单的任务调度器,结果只花了

从五个方面入手,保障微服务应用安全

随着计算机、互联网技术的飞速发展,信息安全已然是一个全民关心的问题,也是各大企业非常重视的问题。企业一般会从多个层次着手保障信息安全,如:物理安全、网络安全、系统安全(主机和操作系统)、应用安全等。对

Spring Cloud 上手实战-架构解析及实作

Spring简介为什么要使用微服务单体应用:目前为止绝大部分的web应用软件采用单体应用,所有的应用的用户UI、业务逻辑、数据库访问都打包在一个应用程序上。缺点:开发相互干扰,随着应用的不断升级沟通协

一站式入口服务|爱奇艺微服务平台 API 网关实战

写在前面在互联网业务微服务化改造过程中,按照以往的服务治理体系,各服务需要单独实现限流、鉴权、监控、日志等通用功能,构建入口时资源申请、工单批复、多系统配置等一系列流程对精力消耗极大,学习成本较高

方舟编译器开源,华为自家开源平台面世!(附编译过程)

大数据文摘出品作者:曹培信8月9日,华为EMUI官方微博发了这么一条微博。对奉行实用至上的程序员来说,Linux的创始人LinusTorvalds的名言“Talkischeap,showmetheco

大神讲解微服务治理的技术演进和架构实践

摘要:随着业务的发展,规模扩大,服务越来越多,需要协调线上运行的各个服务,保障服务的SLA;基于服务调用的性能KPI数据进行容量管理,合理分配各服务的资源占用;对故障业务做服务降级、流量控制、流量迁移

同程旅游微服务最佳实践

本文首发胖波聊架构界,微信公众号:xiaobo2as本文概要导言微服务拆分的四个维度微服务应该如何维护版本如何从单体架构平滑过渡到微服务结语一、导言同程微服务从立项到实施推广已经走过了整整两个年头,从

美团大规模微服务通信框架及治理体系OCTO核心组件开源

微服务通信框架及治理平台OCTO作为美团基础架构设施的重要组成部分,目前已广泛应用于公司技术线,稳定承载上万应用、日均支撑千亿级的调用。业务基于OCTO提供的标准化技术方案,能够轻松实现服务注册/发现

PHP 进程池与轮询调度算法实现多任务

phper请了解进程调度策略,CPU时间片,进程控制【创建,销毁,回收,进程信号】与及进程运行流程和基本的进程组,信号中断原理,以及进程之间的关系。关于进程的更多内容可参考本人前面撸过的文章或是百度了

Hadoop YARN:调度性能优化实践

背景YARN作为Hadoop的资源管理系统,负责Hadoop集群上计算资源的管理和作业调度。美团的YARN以社区2.7.1版本为基础构建分支。目前在YARN上支撑离线业务、实时业务以及机器学习业务。离

Peloton:优步开源的统一资源调度器

Peloton最初是在2018年11月份引入的,并在2019年3月份正式开源。Peloton是为像优步这样拥有数百万个容器和数万个节点的规模公司设计的,它提供了高级的资源管理特性,比如弹性资源共享、层

如何统一服务调用框架?

转载本文需注明出处:微信公众号EAWorld,违者必究。引言:目前在Java微服务领域SpringCloud和Dubbo体系都被广泛使用。不同的用户会根据项目的需要选择合适的架构。但是在有些跨系统的场

微服务架构之「 服务注册 」

微服务架构是一个庞大复杂的工程,为什么说它庞大复杂呢?因为想要做好微服务,就必须先要建设好微服务所需的一系列基础设施和组件。我在前面的文章《架构设计之「微服务入门」》中已经初步介绍过了这些组件,包括:

微服务架构中如何构建一个数据报告服务?

场景描述在微服务架构中,每个微服务负责自己的数据库,微服务A是不允许直接连接微服务B的数据库进行操作的。现在有2个微服务,一个是订单服务,一个是用户服务。有一个数据报告的需求:生成一份包含用户信息的订

Jenkins export and import jobs 迁移导出导入任务实践小结

前言我遇到的Jenkins迁移项目并非可以通过简单的物理文件复制就可以轻松解决,需要考虑上千个不同项目的jobs分离,Jenkins1.x和2.x大版本兼容性,JenkinsPlugins插件,Jen

百分点万亿级大数据平台的建设实践

从互联网、移动互联网到物联网,数据量之巨大已突破想象边界。与此同时,实时数据分析的需求日益增长,那么,当数据量达到亿级、百亿级甚至万亿级规模,实时数据分析如何来做?尤其在ToB/G来说,大多数企业和政

基于中台实践的DevOps平台有何不同?

为了响应快速变化的市场需求,业务要快速迭代。IT正在向云原生架构转型,解放架构自由度,最大化业务敏捷性,解耦合、敏捷开发、快速部署是当下企业的追求,可以消除研发与运维之间鸿沟的DevOps(研发运维)

平安科技数据库总经理汪洋:开源数据库在平安的应用实践

本文转自| 平安科技数据库产品团队2019年5月9日,平安科技数据库产品及存储产品部总经理在第十届数据库技术大会DTCC上分享了《开源数据库在平安的应用实践》,本文根据演讲内容整理,围绕以下几个方面进

前端微服务在字节跳动的落地之路

不少前端团队都面临着独石应用的工程巨大、理解困难和合作混乱的种种问题,微前端或许是一种比较好的解决方案,它允许我们为应用加入新功能而不影响整体结构。但同时,我们可能会付出一些代价,例如重复依赖、团

🚀 Hyperf 发布 v1.1.8 版本 | 企业级的 PHP 微服务云原生协程框架

更新内容 新增 #965新增RedisLua模块,用于管理Lua脚本; #1023hyperf/metric组件的Prometheus驱动新增CUSTOM_MODE模式; 修复 #1013修复Js

🚀 Hyperf 发布 v1.1.9 版本 | 企业级的 PHP 微服务云原生协程框架

更新内容 本周更新主要为DI组件新增了懒加载功能,配置为懒加载后,注入的对象为一个代理对象,在使用到时,才会实现对象的初始化。以及为DIContainer增加了set和define方法来动态的增加对象

🚀 Hyperf 发布 v1.1.9 版本 | 企业级的 PHP 微服务云原生协程框架

更新内容本周更新主要为DI组件新增了懒加载功能,配置为懒加载后,注入的对象为一个代理对象,在使用到时,才会实现对象的初始化。以及为DIContainer增加了set和define方法来动态的增加对象管

《PHP 微服务练兵》系列教程

本系列教程将从零开始使用PHP搭建微服务,涉及知识docker、mysql、Elasticsearch+Kibana日志分析系统、minio文件储存、阿里ACM配置中心、jenkens自动化测试部署、

微服务架构:拆分单体应用的难点

拆分单体应用为服务的难点从表面上看,通过定义与业务能力或子域相对应的服务来创建微服务架构的策略看起来很简单。但是,你可能会遇到几个障碍:网络延迟。同步进程间通信导致可用性降低。 在服务之间维持数据一致