国产崖山数据库调研分析报告(YashanDB)

1.调研背景

        调研分析崖山数据库(YashanDB),形成评估报告,内容包括但不限于崖山数据库团队的科技实力、人才储备,崖山数据库的自主可控性、技术先进性等。

2.调研内容

2.1产品历史

        2013年国际顶会发表“大数据复杂性理论”,2016年发明大数据有界关系计算语法,2017年有界计算理论突破,2019年4月深圳计算科学研究院揭牌,2019年10月产品亮相CNCC、DeepTech专访报道,2021年产品V1研发完成,启动行业POC,2022年4月通过信通院认证。

2.2核心团队

        核心研发人员主要来自Oracle、DB2、阿里和华为,目前在深圳和西安有研发团队。

2.3适配与认证

        东方通兼容性认证、宝兰德兼容性认证、合芯兼容性认证、鲲鹏兼容性认证、统信兼容性认证、天玑超融合兼容性认证。

2.4测评

        工业和信息化部电子第五研究所100%源代码自主率测试、信通院集中式事务型数据库性能测试、信通院OLTP数据库能力测试之YashanDB测试、YashanDB有界计算加速测试、YashanDB近似计算精确度测试、YashanDB增量数据同步性能测试、YashanDB、Oracle、MySql对比TPC-C性能测试等。

2.5知识产权

        专利证书16项、6项申请中,软件著作权4项、15项申请中,商标45项,5项申请中,作品著作权1项。

2.6产品介绍

        “崖山数据库(YashanDB)是深圳计算科学研究院自主设计研发的新型数据库管理系统。在经典数据库理论基础上,融入原创的有界计算理论、近似计算理论、并行可扩展理论和跨模融合计算理论,以源头创新开启超融合数据计算革命。面向下一代云化基础设施,为解决超融合数据全新设计架构,支持大规模并发事务处理和混合事务-分析处理、在线实时分析、海量数据查询加速以及异构数据融合处理场景。”

以上摘自于YanshanDB官网的一段话,根据此描述,YanshanDB被定义为一款HTAP的数据库,既可以支持OLTP场景,同时也可以支持OLAP场景。

针对OLTP场景,官网提出以下4个概念:

  • 极至数据库性能

基于NUMA架构全新设计异步并行框架,适应众核CPU,提供极致性能;提供分布式弹性扩缩容能力,满足性能弹性需求。

  • 金融级可靠

支持一主多备部署形态,支持本地高可用异地容灾,支持冷热备份;通过高效的日志同步和并行重演技术,实现秒级的故障切换。

  • 原生HTAP内核

结合RBO、CBO和BBO(有界计算)的混合优化器模型,获得最优执行路径,开创全程在线的混合计算新模式。

  • 全面数据库生态兼容

提供Oracle和MySQL数据库兼容性支持,包括SQL语法、函数、存储过程等高级特性,实现业务平滑迁移。

针对OLAP场景,官网提出以下5个概念:

  • 基于有界的透明计算加速

采用特有Access Schema模型转化,“将大数据变小”,实现最高5个数量级的性能提升,实现数据量再大也能分析的突破。

  • Just in Time实时分析

基于自适应异步并行、内存计算、列式存储及向量化执行的优势,支持实时数据与历史数据融合交互分析,真正实现数据即生产即分析。

  • 云原生分布式架构

采用存储计算分离架构,大幅提升资源利用率与性能,实现分钟级弹性扩缩容。冷热数据自动分级存储,支持无限量数据的复杂分析,有效降低数据存储成本。

  • 超高性价比

受限资源下,有界计算通过确定访问约束智能选择最佳计算路径;通过多级并行向量化计算以及多种数据压缩技术,实现性能和成本最优平衡。

  • 湖仓一体化

原生支持异构数据类型及相关算子,实现异构数据的融合存储与分析;支持数据实时写入和交互分析;内嵌高效的数据治理模型。

2.7产品架构图

产品架构图如下所示:

 下图为官网提供的一站式数据平台架构图。从图中所示,YashanDB提供:

  1. YashanDB Data Integration数据采集平台
  2. YashanDB Cloud Manager统一运维平台
  3. YashanDB Cloud Studio数据开发平台
  4. 云原生融合数据库YashanDB

2.8产品特性

        从官网上查看最新的YashanDB版本为v22.1版本,是一款集中式事务型数据库(YashanDB-TP Standalone Edition)。产品简介中的核心特性包括:

  • 交易型行存表

支持LIST/RANGE/HASH/INTERVAL多种分区

  • 事务管理

支持事务ACID,支持读提交和串行化隔离级别,UNDO自管理,MVCC。

  • 自研优化器

提供RBO、CBO融合的优化器模型

  • 数据复制

支持同步和异步两种模式,提供最大保护、最大性能等多种复制策略。

  • 备份恢复

提供物理备份和逻辑备份,支持全量和二级增量备份。

  • 高可用

提供一主多备、级联备高可用能力,支持手工切换和自动选举。

  • 闪回

支持闪回查询、闪回修改以及回收站闪回能力。

  • 通过SQL能力

ANSI SQL标准,提供Oracle和MySQL数据库兼容性

  • PL/SQL

支持存储过程、自定义函数、匿名块、高级包、JOB、触发器等能力。

它适用的场景包括:

  • 极高性能要求的在线交易

此类场景对事务处理的时效性和准确性要求严苛,并要求对数据进行高可靠保护。YashanDB-TP SE拥有精细化的事务管理能力,强大的存储底座结合高速的SQL引擎,在保证数据强一致性的基础上实现极致的事务处理性能。

  • 7*24小时不间断服务

YashanDB-TP SE的高可用架构通过多副本日志同步机制可以将数据在多个数据中心之间进行实时同步并持久化,并通过Raft协议的自动选举实现主备在线自动切换,用户无感知的情况下保证系统的稳定持续运行状态。

  • 企业集中式管控

YashanDB-TP SE支持企业级混合负载,在长事务、超复杂SQL等场景下性能卓越,可以很好的满足各种复杂的业务模型及集团化财务管控需求,为企业前期预测预算、中期资金监管、后期合并报表等提供稳定、及时、高效的数据平台支撑。

        存储引擎是数据库核心部件之一,为实现事务的ACID,YashanDB-TP SE采用了段页式的存储管理,和Checkpoint+redo的持久化机制,并提供堆表、B+树索引等基本的数据结构,且堆表和B+树索引均实现了MVCC多版本能力,可以保证一致性读和一致性写。SQL引擎是数据库核心部件之一,YashanDB的SQL引擎内部通过紧耦合达到极致高性能,外部则与存储引擎松耦合,接口可插拔,以减少事务及快照的关联,降低编程复杂度,实现对外的快速响应。

        YashanDB-TP SE在SQL语法、表达式运算、FILTER CONDITION、数据类型、内置函数、系统视图和PL/SQL等基本功能上均与 Oracle 数据库兼容,数据库管理和开发人员不需要花费大量的时间去学习新知识,在已交付特性上直接查阅Oracle相关文档,也可流畅地操作使用YashanDB-TP SE,实现从Oracle数据库到YashanDB-TP SE的平滑迁移。同时,YanshanDB-TP SE也提供了MySQL数据库的兼容性功能。但由于不同数据库的底层架构、产品形态等存在差异,导致适配MySQL数据库的某些特性与适配Oracle数据库的某些特性不能互相兼容。YashanDB-TP SE通过控制开关的方式,很好地解决了这个问题,从而可以让用户从不同数据库向YashanDB迁移时,无需进行大量地SQL校对和改写工作。

2.9异构数据迁移

可通过YashanDB-CDC实现多个异构数据源的一键迁移:

 

2.10官方案例

2.10.1某燃气集团:BOSS

亮点:

  1.         1.使用YashanDB替换原Oracle Exadata
  2.         2.三数据中心的YashanDB集群部署,RPO=0
  3.         3.高度兼容Oracle和一站式Oracle迁移方案
  4.         4.极致事务性能的行存表及全内存列存表提供不同业务负载
  5.         5.使用通过服务器替换小机+集中式存储 

2.10.2某互联网企业:基于互联网营销的经营分析

亮点:

  •         1.使用YashanDB替换原Hadoop平台
    •         2.海量存储能力
      •         3.可视化的ETL任务管理
        •         4.灵活的任务资源配置
          •         5.不同的存储引擎 

2.10.3某城市轨道交通运营企业:核心底座迁移

亮点:

  1. 替换原始的大量MySQL数据库
  2. 计算存储分离
  3. 性能是原MySQL的10倍

3.产品综合分析(个人观点)

        根据主页介绍,YashanDB是一款兼具OLTP事务能力及OLAP分析能力的一款融合数据库。然而,从官方发布的最新v22.1文档调研来看,YashanDB 目前对外公开的只有一款集中式事务型数据库YashanDB-TP,暂未看到OLAP场景的相关产品和能力。

在对外公开的这款集中式数据库YashanDB-TP,它的主要特点如下:

  • 部署模式

YashanDB-TP在部署方面可支持一主多备部署方式、支持级联备配置、底层使用Raft协议实现自动选举配置

  • 异构数据源

YashanDB-TP可通过YashanDB-CDC工具实现异构数据源的一键迁移(Oracle、MySql、PG)。

  • Oracle兼容性

        YashanDB-TP对Oracel的兼容性做了大量的工作,具体总结如下:

        YashanDB-TP SE在SQL语法表达式运算FILTER CONDITION数据类型内置函数系统视图和PL/SQL等基本功能上均与 Oracle 数据库兼容,数据库管理和开发人员不需要花费大量的时间去学习新知识,在已交付特性上直接查阅Oracle相关文档,也可流畅地操作使用YashanDB-TP SE,实现从Oracle数据库到YashanDB-TP SE的平滑迁移。

  • MySql兼容性

        YashanDB-TP SE在大部分基本功能上与Oracle数据库兼容,同时,YanshanDB-TP SE也提供了MySQL数据库的兼容性功能。但由于不同数据库的底层架构、产品形态等存在差异,导致适配MySQL数据库的某些特性与适配Oracle数据库的某些特性不能互相兼容。YashanDB-TP SE通过控制开关的方式,很好地解决了这个问题,从而可以让用户从不同数据库向YashanDB迁移时,无需进行大量地SQL校对和改写工作。


本文来自互联网用户投稿,文章观点仅代表作者本人,不代表本站立场,不承担相关法律责任。如若转载,请注明出处。 如若内容造成侵权/违法违规/事实不符,请点击【内容举报】进行投诉反馈!

相关文章

立即
投稿

微信公众账号

微信扫一扫加关注

返回
顶部