分布式弹性调度系统Elastic-Job源码设计原理V0.6

大家好，在这里为大家持续分享下分布式调度系统源码设计，使用原理系列教程，文章发布自公众号：中间件源码 感兴趣可以关注下

目录

• Elastic-Job2.1.5源码-分布式弹性调度系统的简介
• • 1 Elastic-Job2.1.5源码-分布式弹性调度系统的简介
  • • 1.1 项目介绍
    • 1.2 分布式弹性调度系统特征
  • 2 Elastic-Job的使用
  • • 2.1 使用Java代码创建第一个调度例子
    • 2.2 使用Spring配置一个作业
• Elastic-Job2.1.5源码-调度注册中心的设计原理
• • 3 注册中心的设计原理
  • • 3.1 调度系统使用Zookeeper做什么
    • 3.2 调度系统注册中心设计
    • 3.3 Zookeeper配置详解
    • 3.4 ZookeeperRegistryCenter原理解析
    • 3.5 注册中心常用操作方法
• Elastic-Job2.1.5源码-Builder建造者设计模式构造复杂的作业配置
• • 4 作业配置的设计原理
  • • 4.1 作业配置示例
    • 4.2 作业配置的类结构信息
    • 4.3 常见配置类属性讲解
• Elastic-Job2.1.5源码-定制化调度作业模版的设计
• • 5 定制化调度作业模版的设计
  • • 5.1 调度作业的类型
    • 5.2 ElasticJob弹性作业接口
    • 5.3 SimpleJob简单类型作业接口
    • 5.4 DataflowJob数据流类型作业接口
    • 5.5 ScriptJob脚本类型作业接口
• Elastic-Job2.1.5源码-调度作业的配置是如何在分布式场景下存储的?
• • 6 作业调度器初始化
  • • 6.1 作业调度器初始化示例代码
    • 6.2 init初始化方法
    • • 6.2.1 init源码
    • 6.3 分布式环境下调度配置持久化原理
    • • 6.3.1 配置加载持久化说明
      • 6.3.2 持久化作业配置到Zookeeper
      • 6.3.3 加载Zookeeper配置信息到本地内存
      • 6.3.4 配置加载流程
• Elastic-Job2.1.5源码-线程安全的单例模式设计全局作业注册表JobRegistry
• • • 6.4 注册作业分片总数
• [Elastic-Job2.1.5源码- 使用Quartz为每个作业创建单机执行的调度器对象](https://mp.weixin.qq.com/s/OCG91irMImsgk2objep34A)
• • • 6.5 创建作业调度控制器
    • • 6.5.1 JobScheduleController简介
      • 6.5.2 JobScheduleController对象的创建
      • 6.5.3 Scheduler 调度对象的创建
      • 6.5.4 JobDetail 作业信息对象的创建
• Elastic-Job2.1.5源码-调度作业启动之前要做哪些初始化？
• • • 6.6 注册启动信息
    • • 6.6.1 启动信息注册
• Elastic-Job2.1.5源码-分布式环境下的Zookeeper节点监听机制
• • • • 6.6.2 启动监听器
      • 6.6.3 监听器大全
      • 6.6.4 监听器使用
      • 6.6.5 观察者设计模式
• Elastic-Job2.1.5源码-基于Zookeeper分布式锁实现选举作业主节点原理
• • • • 6.6.6 基于Zookeeper的分布式锁实现选举作业主节点
• Elastic-Job2.1.5源码-调度作业的服务器和进程信息的持久化是如何设计的?
• • • • 6.6.7 作业服务器信息
• Elastic-Job2.1.5源码-为作业监控提供一个快照服务功能
• • • • 6.6.8 启动快照服务
• Elastic-Job2.1.5源码-为作业开启健康诊断定时器
• • • • 6.6.9 诊断服务
• Elastic-Job2.1.5源码-分布式调度作业在单机环境下是如何被触发执行的
• • • 6.7 为作业绑定触发器开始调度作业
  • 7 作业的执行
  • • 7.1 scheduler对作业的调用
• Elastic-Job2.1.5源码-调度作业的模版方法设计原理
• • • 7.2 作业执行模版
    • • 7.2.1 作业执行器的获取
      • 7.2.2 作业模版下的通用执行逻辑execute简介
• Elastic-Job2.1.5源码-调度服务器之间的时间准确性验证思路
• • • 7.3 调度服务器之间的时间准确性验证思路
• Elastic-Job2.1.5源码-分布式场景下如何用逻辑分片来进行水平扩展的?
• • 7.4 作业分片
  • • 7.4.1 分片概念
    • 7.4.2 分片上下文的获取
    • 7.4.3 获取失效转移的分片项
    • 7.4.4 正常执行作业的分片项获取
• [Elastic-Job2.1.5源码- 选主节点执行分片逻辑的过程](https://mp.weixin.qq.com/s/8CQptGtKsVjxZIB9L8t1AQ)
• • • • 7.4.5 分片逻辑
      • • 7.4.5.1 首先我们要明白为什么要选主节点？
        • 7.4.5.2 非主节点自旋等待主节点分片完成
        • 7.4.5.3 主节点重置分片节点
        • 7.4.5.4 主节点使用策略模式+Java反射来获取分片算法
        • 7.4.5.5 主节点使用事务执行分片的逻辑
        • 7.4.5.6 主节点和非主节点获取本实例被分配到的分片项然后拼接为分片上下文
• Elastic-Job2.1.5源码-图解分片算法动画
• • • • 7.4.6 分片算法
      • • 7.4.6.1 AverageAllocationJobShardingStrategy平均分配分片算法
        • 7.4.6.2 OdevitySortByNameJobShardingStrategy 作业名的哈希值奇偶数决定IP升降序算法
        • 7.4.6.3 RotateServerByNameJobShardingStrategy 作业名的哈希值对服务器列表进行轮转的分片策略
        • 7.4.6.4 使用Zookeeper事务来提交多个请求
• Elastic-Job2.1.5源码-图解错过作业重新触发执行功能
• • • 7.5 错过重触发功能
    • • 7.5.1 错过执行作业概念
      • 7.5.2 错过执行作业配置
      • 7.5.4 作业运行时幂等导致的错过执行
      • 7.5.5 错过作业重新补偿执行
• Elastic-Job2.1.5源码-作业执行线程池的配置与执行异常作业问题分析技巧
• • • 7.6 作业执行线程
    • • 7.6.1 作业执行方法
      • 7.6.2 作业执行线程池executorService对象
      • 7.6.3 使用作业线程堆栈信息来排查异常作业
      • • 7.6.3.1 模拟异常作业
        • 7.6.3.2 查看作业进程PID
        • 7.6.3.3 分析当前作业异常线程
• Elastic-Job2.1.5源码-定制化可扩展的作业执行器模版设计
• • • 7.7 定制化作业执行器模版设计
    • • 7.7.1 作业分类
      • 7.7.2 自定义作业执行器的调用
      • 7.7.3 简单作业执行器SimpleJobExecutor
      • 7.7.4 DataflowJobExecutor数据流作业执行器
      • 7.7.5 脚本作业执行器ScriptJobExecutor
• Elastic-Job2.1.5源码-作业高可用的失效转移功能实现原理动画
• • 8 失效转移
  • • 8.1 简介
    • 8.2 崩溃作业分片
    • 8.3 发现记录崩溃作业分片
    • 8.4 分布式锁抢占崩溃实例的分片然后重新执行崩溃分片
    • 8.5 执行失效转移
• [Elastic-Job2.1.5源码-自定义Spring标签与Spring 依赖注入无缝整合](https://mp.weixin.qq.com/s/GhN6J6IiG9VHnx1eU8LSww)
• • 9 自定义Spring标签与Spring 依赖注入无缝整合
  • • 9.1 简介
    • 9.2 注册中心自定义XSD文件配置与说明
    • 9.2 注册中心自定义NamespaceHandler的配置与说明
• 未完更新中...

Elastic-Job2.1.5源码-分布式弹性调度系统的简介

1 Elastic-Job2.1.5源码-分布式弹性调度系统的简介

1.1 项目介绍

1.2 分布式弹性调度系统特征

2 Elastic-Job的使用

2.1 使用Java代码创建第一个调度例子

2.2 使用Spring配置一个作业

Elastic-Job2.1.5源码-调度注册中心的设计原理

3 注册中心的设计原理

3.1 调度系统使用Zookeeper做什么

3.2 调度系统注册中心设计

3.3 Zookeeper配置详解

3.4 ZookeeperRegistryCenter原理解析

3.5 注册中心常用操作方法

Elastic-Job2.1.5源码-Builder建造者设计模式构造复杂的作业配置

4 作业配置的设计原理

4.1 作业配置示例

4.2 作业配置的类结构信息

4.3 常见配置类属性讲解

Elastic-Job2.1.5源码-定制化调度作业模版的设计

5 定制化调度作业模版的设计

5.1 调度作业的类型

5.2 ElasticJob弹性作业接口

5.3 SimpleJob简单类型作业接口

5.4 DataflowJob数据流类型作业接口

5.5 ScriptJob脚本类型作业接口

Elastic-Job2.1.5源码-调度作业的配置是如何在分布式场景下存储的?

6 作业调度器初始化

6.1 作业调度器初始化示例代码

6.2 init初始化方法

6.2.1 init源码

6.3 分布式环境下调度配置持久化原理

6.3.1 配置加载持久化说明

6.3.2 持久化作业配置到Zookeeper

6.3.3 加载Zookeeper配置信息到本地内存

6.3.4 配置加载流程

Elastic-Job2.1.5源码-线程安全的单例模式设计全局作业注册表JobRegistry

6.4 注册作业分片总数

Elastic-Job2.1.5源码- 使用Quartz为每个作业创建单机执行的调度器对象

6.5 创建作业调度控制器

6.5.1 JobScheduleController简介

6.5.2 JobScheduleController对象的创建

6.5.3 Scheduler 调度对象的创建

6.5.4 JobDetail 作业信息对象的创建

Elastic-Job2.1.5源码-调度作业启动之前要做哪些初始化？

6.6 注册启动信息

6.6.1 启动信息注册

Elastic-Job2.1.5源码-分布式环境下的Zookeeper节点监听机制

6.6.2 启动监听器

6.6.3 监听器大全

6.6.4 监听器使用

6.6.5 观察者设计模式

Elastic-Job2.1.5源码-基于Zookeeper分布式锁实现选举作业主节点原理

6.6.6 基于Zookeeper的分布式锁实现选举作业主节点

Elastic-Job2.1.5源码-调度作业的服务器和进程信息的持久化是如何设计的?

6.6.7 作业服务器信息

Elastic-Job2.1.5源码-为作业监控提供一个快照服务功能

6.6.8 启动快照服务

Elastic-Job2.1.5源码-为作业开启健康诊断定时器

6.6.9 诊断服务

Elastic-Job2.1.5源码-分布式调度作业在单机环境下是如何被触发执行的

6.7 为作业绑定触发器开始调度作业

7 作业的执行

7.1 scheduler对作业的调用

Elastic-Job2.1.5源码-调度作业的模版方法设计原理

7.2 作业执行模版

7.2.1 作业执行器的获取

7.2.2 作业模版下的通用执行逻辑execute简介

Elastic-Job2.1.5源码-调度服务器之间的时间准确性验证思路

7.3 调度服务器之间的时间准确性验证思路

Elastic-Job2.1.5源码-分布式场景下如何用逻辑分片来进行水平扩展的?

7.4 作业分片

7.4.1 分片概念

7.4.2 分片上下文的获取

7.4.3 获取失效转移的分片项

7.4.4 正常执行作业的分片项获取

Elastic-Job2.1.5源码- 选主节点执行分片逻辑的过程

7.4.5 分片逻辑

7.4.5.1 首先我们要明白为什么要选主节点？

7.4.5.2 非主节点自旋等待主节点分片完成

7.4.5.3 主节点重置分片节点

7.4.5.4 主节点使用策略模式+Java反射来获取分片算法

7.4.5.5 主节点使用事务执行分片的逻辑

7.4.5.6 主节点和非主节点获取本实例被分配到的分片项然后拼接为分片上下文

Elastic-Job2.1.5源码-图解分片算法动画

7.4.6 分片算法

7.4.6.1 AverageAllocationJobShardingStrategy平均分配分片算法

7.4.6.2 OdevitySortByNameJobShardingStrategy 作业名的哈希值奇偶数决定IP升降序算法

7.4.6.3 RotateServerByNameJobShardingStrategy 作业名的哈希值对服务器列表进行轮转的分片策略

7.4.6.4 使用Zookeeper事务来提交多个请求

Elastic-Job2.1.5源码-图解错过作业重新触发执行功能

7.5 错过重触发功能

7.5.1 错过执行作业概念

7.5.2 错过执行作业配置

7.5.4 作业运行时幂等导致的错过执行

7.5.5 错过作业重新补偿执行

Elastic-Job2.1.5源码-作业执行线程池的配置与执行异常作业问题分析技巧

7.6 作业执行线程

7.6.1 作业执行方法

7.6.2 作业执行线程池executorService对象

7.6.3 使用作业线程堆栈信息来排查异常作业

7.6.3.1 模拟异常作业

7.6.3.2 查看作业进程PID

7.6.3.3 分析当前作业异常线程

Elastic-Job2.1.5源码-定制化可扩展的作业执行器模版设计

7.7 定制化作业执行器模版设计

7.7.1 作业分类

7.7.2 自定义作业执行器的调用

7.7.3 简单作业执行器SimpleJobExecutor

7.7.4 DataflowJobExecutor数据流作业执行器

7.7.5 脚本作业执行器ScriptJobExecutor

Elastic-Job2.1.5源码-作业高可用的失效转移功能实现原理动画

8 失效转移

8.1 简介

8.2 崩溃作业分片

8.3 发现记录崩溃作业分片

8.4 分布式锁抢占崩溃实例的分片然后重新执行崩溃分片

8.5 执行失效转移

Elastic-Job2.1.5源码-自定义Spring标签与Spring 依赖注入无缝整合

9 自定义Spring标签与Spring 依赖注入无缝整合

9.1 简介

9.2 注册中心自定义XSD文件配置与说明

9.2 注册中心自定义NamespaceHandler的配置与说明

未完更新中…

查看更多原文,技术咨询与支持,可以扫描微信公众号进行回复咨询

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！