# 分布式调度问题 [演示代码](https://gitee.com/ixinglan/cluster-demo.git) 调度—>定时任务，分布式调度—>在分布式集群环境下定时任务 Elastic-job（当当网开源的分布式调度框架） ## 一、定时任务场景 - 订单审核、出库 - 订单超时自动取消、支付退款 - 礼券同步、生成、发放作业 - 物流信息推送、抓取作业、退换货处理作业数据积压监控、日志监控、服务可用性探测作业定时备份数据 - 金融系统每天的定时结算 - 数据归档、清理作业 - 报表、离线数据分析作业 - ...... ## 二、分布式调度含义 - 运行在分布式集群环境下的调度任务（同一个定时任务程序部署多份，只应该有一个定时任务在执行） - 分布式调度—>定时任务的分布式—>定时任务的拆分（即为把一个大的作业任务拆分为多个小的作业任务，同时执行） ## 三、定时任务与消息队列的区别 - 共同点 - 异步处理 比如注册、下单事件 - 应用解耦 不管定时任务作业还是MQ都可以作为两个应用之间的齿轮实现应用解耦，这个齿轮可以中转数据，当然单体服务不需要考虑这些，服务拆分的时候往往都会考虑 - 流量削峰 双十一的时候，任务作业和MQ都可以用来扛流量，后端系统根据服务能力定时处理订单或者从MQ抓取订单抓取到一个订单到来事件的话触发处理，对于前端用户来说看到的结果是已经下单成功了，下单是不受任何影响的 - 本质不同 定时任务作业是时间驱动，而MQ是事件驱动； 时间驱动是不可代替的，比如金融系统每日的利息结算，不是说利息来一条（利息到来事件）就算一下，而往往是通过定时任务批量计算； 所以，定时任务作业更倾向于批处理，MQ倾向于逐条处理； ## 四、实现方式 - 任务调度框架Quartz **示例代码：job-demo** - 分布式调度框架Elastic-Job Elastic-Job是当当网开源的一个分布式调度解决方案，基于Quartz二次开发的，由两个相互独立的子项目Elastic-Job-Lite和Elastic-Job-Cloud组成。我们要学习的是 Elastic-Job-Lite，它定位为轻量级无中心化解决方案，使用Jar包的形式提供分布式任务的协调服务，而Elastic-Job-Cloud子项目需要结合Mesos以及Docker在云环境下使用。主要功能如下： - 分布式调度协调 在分布式环境中，任务能够按指定的调度策略执行，并且能够避免同一任务多实例重复执行 - 丰富的调度策略 基于成熟的定时任务作业框架Quartz cron表达式执行定时任务 - 弹性扩容缩容 当集群中增加某一个实例，它应当也能够被选举并执行任务；当集群减少一个实例时，它所执行的任务能被转移到别的实例来执行。 - 失效转移 某实例在任务执行失败后，会被转移到其他实例执行 - 错过执行作业重触发 若因某种原因导致作业错过执行，自动记录错过执行的作业，并在上次作业完成后自动触发。 - 支持并行调度 支持任务分片，任务分片是指将一个任务分为多个小任务项在多个实例同时执行。作业分片一致性 当任务被分片后，保证同一分片在分布式环境中仅一个执行实例。 ## 五、Elastic-Job应用 - 安装zookeeper 这里不做介绍，后面zookeeper部分会讲解 - 引入jar ```xml com.dangdang elastic-job-lite-core 2.1.5 ``` - 示例demo **示例代码：job-demo** - 轻量级去中心化 ![示意图](https://img.zhaojq.top/20260727091646754.png "示意图") - 任务分片 一个非常大的耗时作业Job，比如：一次要处理一亿的数据，那一亿的数据存储在数据库中，如果用一个作业节点处理一亿数据要很久，在互联网领域是不太能接受的，互联网领域更希望机器的增加去横向扩展处理能力。所以，ElasticJob可以把作业分为多个的task（每一个task就是一个任务分片），每一个task交给具体的一个机器实例去处理（一个机器实例是可以处理多个task的），但是具体每个task执行什么逻辑由我们自己来指定。 - 弹性扩容 新增加一个运行实例app3，它会自动注册到注册中心，注册中心发现新的服务上线，注册中心会通知ElasticJob 进行重新分片，那么总得分片项有多少，那么就可以搞多少个实例机器，比如完全可以分1000片 最多就可以有多少app实例，，，，机器能成的主，完全可以分1000片 那么就可以搞1000台机器一起执行作业 注意： - 分片项也是一个JOB配置，修改配置，重新分片，在下一次定时运行之前会重新调用分片算法，那么这个分片算法的结果就是：哪台机器运行哪一个一片，这个结果存储到zk中的，主节点会把分片给分好放到注册中心去，然后执行节点从注册中心获取信息(执行节点在定时任务开启的时候获取相应的分片)。 - 如果所有的节点挂掉值剩下一个节点，所有分片都会指向剩下的一个节点，这也是ElasticJob的高可用。