OLTP 类系统数据结转最佳实践

背景介绍

业务系统在长期运行的过程中会积累大量的数据，这些数据有些是需要长期保存的，例如一些订单数据，有些只需要短期保存，例如一些日志信息。业务数据一般都会有一个生命周期，生命周期内的我们叫生产数据，生命周期之外（即业务已经关闭）的叫历史数据，我们这里提到的数据结转，指的是将需要长期保存的历史数据从生产库迁移到历史库（转），而将需要短期保存的数据定期删除（结）。

我们已经进入了大数据时代，但在 OLTP 类系统中，关系型数据库依然占据主导地位，在关系型数据库中，如果不及时进行数据结转，会严重影响系统的性能。

关系型数据库单机容量有限，因此业界普遍的做法是进行垂直分库和水平分片，一些大型互联网企业由于业务量庞大，仅分片的集群规模就能达到上千节点，再加上分库的集群，规模非常巨大。传统的数据归档方法往往针对单库操作，难以处理如此大规模集群的数据归档。

同时，在大型互联网企业，每日的数据增长量非常大，数据结转的频率远大于传统行业，这些行业的 IT 系统往往是7*24小时不间断提供服务，而且全天24小时的并发量都很大，因此数据结转操作必须尽量减少对生产库的性能影响。

为此，我们自主研发了数据结转平台，以解决大数据背景下的数据结转问题。

技术架构

设计要点

尽量减少对生产库的影响

数据结转操作没有复杂的业务逻辑，因此对数据库性能的影响主要体现在 IO 方面，减少对生产库的影响，最主要的

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！