工商银行MySQL数据库架构解密

本文根据DTCC数据库大会分享内容整理而成,将介绍工行 IT 架构转型中传统 OLTP 数据库架构面临的挑战和诉求,构建基于 MySQL 分布式企业级解决方案实践历程,包括技术选择、高可用设计、两地三中心容灾、运维管理、资源使用效率等方面的思考和实践经验,同时也介绍了工行转型的成效以及对后续工作的一些思考。

作者:林承军
编辑:爱可生

演讲者介绍:林承军,中国工商银行软件开发中心高级经理,多年来一直从事开放平台相关技术研究及实施工作,多次参与工行重点项目的原型技术研究、IT 架构转型及优化提升,在分布式、高可用架构、数据高效访问领域有丰富的实施经验。近年来,牵头 MySQL/分布式数据库团队工作,借鉴和引入业界成功经验,通过自主研发 技术引入,迅速形成基于开源 MySQL 的企业级应用研发能力,初步建立了企业级解决方案,推动工行开放平台 OLTP 数据库转型的实施。

一、数据库转型背景

  1.1 传统IT架构的挑战

  大型国有银行,整体核心的系统都是大机+DB2这样的传统架构;针对现在的互联网金融业务快速扩张的需求,传统的架构面临着比较大的挑战,主要集中在四个方面:

  处理能力:因为工行这么大的体量,导致整体系统的规模比较庞大,这种垂直的单一的扩展模式,不具备横向处理能力,处理能力受到限制;

  运行的风险:随着很多的业务从网点变成线上,新的业务提出了更高的业务连续性保障,包括7×24小时,传统的架构从架构设计上无法做到这样的支持;

  快速交付:传统的开发模式应用内部模块、应用与应用之间的耦合度非常高,使得软件的开发和产品交付周期比较长;

  成本控制:大型主机运营成本非常贵,买个机器帮你搞两下就几千万上亿的支出,再加上商业产品的License比较高,银行议价能力又比较低;

  在这种情况下进行IT架构转型,整体的诉求是优化应用架构、数据架构、技术架构,建立灵活开放、高效协同、安全稳定的IT架构体系,强化对业务快速创新发展的科技支撑。

  1.2 转型的核心诉求和策略

  在上面的转型大背景下,数据作为核心,我们展开了对开放平台的数据库的架构转型,同时提出了几个核心的策略:

  第一,在业务支撑方面,做到高并发、可扩展、支持海量数据存储及访问。以及两地三中心高可用容灾。工行在国有大型银行里应该是比较领先的实现两地三中心容灾体系;

  第二,降低使用成本,基于通用的廉价的硬件基础设施,希望提升自己的管理控制能力,进行行内适配和定制。降低对商业产品依赖,提升议价能力;

  第三,运维能力,提升数据库的运维自动化智能化,更加开放的技术体系以利于自主掌控。主要采取三方面策略:

  a:集中式向分布式的转型;

  b:是专有向通用的转型,也就是去IOE;

    c:限制商业产品,拥抱开源;

二、 转型的发展经历

  2.1 转型路线图

  2.1.1 三年转型之路

  整个转型历程,大概从2015年开始IT架构转型,但真正有进展应该是从2016年初到2017年这个时间。我们整个的发展历程大概可以分三个阶段:

  第一阶段 原型的研发和探索

  2016年初到2017年的过程,当时结合人民银行对于个人账户的管理要求,实行一类二类三类账户;结合这样的工作要求,把个人账户从主机下移到开放平台,基于开放平台的高性价比、可扩展进行了很多的探索,进行了很多的技术验证。当验证了技术可行性之后,我们提出了一个开放平台数据库转型的规划,这个规划对于我们行内后面几年的工作,对于数据库的方案选型是非常大的影响。这个规划确定我们行里要建设基于开源的MySQL OLTP数据库解决方案。

  第二阶段 基础研究和试点

  2017年整年,我们基于开源的MySQL数据库进行产品的研究和能力的建设,以及初步能力的建设,包括基础研究和应用的试点。在此期间,前面提到的原型也是在2017年5月份上线的,在生产线上跑起来了,把整个技术体系都进行了验证。

  第三阶段 转型实施及推广

  2018年开始大规模的实施和推广,在这个过程中基于开源的MySQL数据库,我们逐步建立起了一个企业级的数据库服务能力,包括引入了分布式的中间件,在高可用、运维能力的提升,资源使用率的提升,MySQL的云化及自主服务的建设等等。在整个过程中,同步对OLTP的分布式数据库进行了研究,也对后面的工作指导提供了依据;

  2.2 选型阶段

  2.2.1 方案选型调研

  在选型阶段,我们基于业务场景进行了大量的方案调研。坦率的说,工行软件开发中心在2014—2016年持续关注着行业内数据库的发展和生态的发展,在这个过程中我们对很多的产品进行了一些研究和摸底的测试。

  NewSQL数据库方案,是很多的互联网企业或者一些小型企业有所使用的,但是我行在选择技术的时候是非常谨慎的,以及要做非常多验证,在当时并不符合我们系统设计的考量点;

  基于开源的分布式OLTP方案,业界有很多丰富的案例,而且在互联网企业里面得到了很好的实践,在业界资源案例都很丰富。是同时能应对我行的高并发、弹性扩展需求的;

  所以我们最终确定从分布式架构的角度去解决整个架构的挑战,不仅仅只从单一的数据库的层面解决这个问题。

  2.2.2 分布式技术栈

  基于这样的一个原型探索,我们构建了一系列的分布式架构技术栈,包括分布式服务、分布式事务框架、分布式批量框架、分布式缓存、交易数据核对及补偿、分布式消息、配置中心、开发及运维管理。这里简单说一下:

  分布式服务改造,针对我们传统架构耦合比较紧密的特点,通过服务化的改造,降低耦合度。降低耦合度的同时,还可以尽最大可能的避免分布式事务的产生;

  分布式事务的框架,我们结合两阶段提交和分布式的消息,支持强一致性和最终一致性多种模式的支持,通过分布式事务框架解决分布式事务的问题;

  分布式批量框架,在大规模的数据结点上进行批量操作的一个整体的解决方案;

  业务层面,在交易或者应用级层面进行数据核对及补偿,有些场景就是在传统的OLTP的情况下,也会对应用上下游进行核对和补偿;

  分布式消息平台,实现这样一个应用级的数据交互;

  同时我们也进行了运维的规划和总设计。这里引入了开源的MySQL数据库来解决数据最终落地的问题

  2.2.3 MySQL高可用方案

  在原型阶段,当时主流是MySQL5.6,5.7才刚出来;对于高可用要求,行里的应用是要做到同城切换,上海两个园区要做到RPO是0,RTO非常小,同时异地北京有一个灾备中心,就是两地三中心。

  我们的AB类重点应用必须具备这样的同城两个园区同时对外服务的能力。在原型设计阶段,我们基于MySQL的半同步复制,来做这样的一个切换,实现RPO=0,解决主库故障自动切换到备库,同城为了保障RPO=0,在原型阶段进行了应用的双写。来进行数据的核对和补充;

  这里顺便提一下,MySQL5.7相对5.6的改进非常大的,这是一款真正可以适合金融行业的数据库产品,它在数据回放方面,在性能方面都有比较大的改进和提升;

  2.3 实施推广阶段

  2.3.1 基础研究和应用试点

  第二个阶段是开源MySQL基础研究和应用试点,就是2017年。对于这些元素研究以后,在行里要发布第一个产品;把这个产品推上线,要做很多的工作:

  产品的基础研究,我需要验证功能、新特性和配置基线,数据备份恢复,还要结合它的特性来设计应用的高可用,提供开发的技术规范;

  我们的角色既要考虑到运维,也要考虑到上游应用,做好上面的衔接、对接和支持。包括应用的开发规范,它的性能能力评估,上线需要多少设备,容量是多大,还要对Oracle等老架构给予指引和帮助,代码写不好还要弄个检查工具等等。运维方面就是要提供各种安装部署的便利化,然后行内和行内的监控系统进行对接,制定很多的指标和参数,如何和行里进行对接,然后新问题的分析等等一系列的问题。在这个阶段我们实现了同城RPO=0,RTO=分钟级目标,RPO为0的切换,问题可监控,实现了人工或自动的一键式切换。

  这个阶段,行里决策了之后,我们一下子上了21个应用,211个节点,这是2017年。

  2.3.2 分布式中间件应用

  2018年开始转型和实施,并且大量应用上线;之前的基于应用级的分布式解决方案,遇到了一些新的限制;部分应用不想设计的过分复杂,这个时候引入了开源分布式中间件DBLE,引入它的目的就是为了简化开发的工作量,通过引入这样一个DBLE来支持垂直数据分片、水平数据分片、混合分片等场景的支持,还支持简单的跨库汇集查询提供类似集中库的操作体验,这个时候开发场景就简化了,给了应用更多的选择,简化了应用开发的复杂度。

  2.3.3 运维架构流程完善

  解决了应用开发的复杂度,运维怎么办?高可用怎么办,我们结合DBLE和运维管理平台,实现整平台联动,支持从高可用、监控告警、安装部署、自动化补数等等一系列的解决方案;

  2.3.4 运维管理能力沉淀

  这时进行运维能力的提升,也迫在眉睫;因为分布式随着实施的运维节点的增加,运维是一个很大的挑战,那么多的节点,安装、监控、报警、故障、人工处理等非常麻烦;

  我们首先提供一个自动化的安装部署,实现批量安装部署,批量串行还不行,时间太长了,要并行,并行太高了,网络的流量会受到比较大的影响,所以这个方面有很多的场景都需要打磨。

  第二是监控告警,监控告警里有事件等级,分各种等级,这些需要灵活的定制,建立基线告警,建立应急流程。

  第三是故障的分析,完善日志记录、采集和分析,建立故障分析规范。

  第四是自动巡检,自动化的巡检和评分报告,对实例状态进行健康评分。

  2.3.5 统一运维平台建立

  我们通过这样一个统一的运维管理平台,把所有的节点都纳入进来了,实现一键式的安装、版本的升级、参数的配置。并且实现了多种高可用策略配置,包括自动、人工一键式切换。

  谈到为什么要有自动化和人工的两种切换方式?一种新的事务上线之前,都会面临一些挑战和怀疑的,都是一个循序渐进的过程,特别是是在金融行业,我们实现了多种高可用策略的灵活配置。

  2.3.6 故障自动切换上线

  我们建立了一个自动化、高可用的决策系统,大家知道人工决策到自动切换,虽然只是迈出一步,但是面临着很大的挑战,包括决策的因素和决策的模型,最难的是还要应对不同应用场景的需求,有的时候说RPO优先,有的RTO优先,有的要求三分钟搞定,有的说10秒钟5秒钟我都难受,你要有这样的模型适配这样的场景,这是非常大的挑战。在整体上面基于MySQL的复制技术,我们有半同步复职和多数派共识机制实现冗余备份。基于MySQL binlog日志自动数据补全,保障数据的一致性。

  2.4 实践中的改善优化

  2.4.1 高可用方案改进

  同时实施过程中我们走的比较快了,一年几百个节点,几十个应用。在这个过程中,我们又对高可用方案进行了持续的优化,同时学习和借鉴互联网包括分布式数据库的一些方案,我们把一主两备,本地1备和同城1备,扩展成1主3备,通过半同步的机制,做到真正的在系统级去保证RPO=0;

  2.4.2 异地灾备和存储优化

  异地灾备和存储方面,当初跑的太快,方方面面有些没有考虑那么完备。

  我们刚才说了,我们在上海到北京有一个灾备。数据灾备刚开始方案,采用磁盘复制实现灾备,这个也是要支出软件费用,也比较耗钱。第二个是冷备,无法热切换,RTO至少半个小时以上。这个方面我们改进了,用了MySQL异步复制;

  另外存储方面沿用的集中存储,一套集中存储上面同时支撑六七十上百个MySQL实例,IO的性能非常容易成为瓶颈。在应对一些高并发场景的时候,因为IO性能不足,这方面我们就改进了,直接引入了SSD盘,基本上把MySQL、IO的瓶颈给解决了。在现在的场景下,IO一般不会成为瓶颈了。同时通过SSD的引入,交易的响应时间在相同条件下降低50%。

  2.4.3 MySQL 容器化探索

  MySQL的上容器,首先说一下为什么要搞这个事情?因为工行一两年转型过来,大规模的上MySQL数据库,节点非常多,机房和设备成为一个瓶颈,再这么玩儿下去机房容量不足了。这个时候需要提升资源的使用效率。

  在很多应用里,因为它的超前规划,一般为了稳定运行,基本上都提出资源申请的时候,都是物理机,为了满足后面几年的业务需求,大规模的申请物理机,但当前应用的交易量又不是那么大,浪费比较严重的。这个时候我们提升资源的使用成为紧迫的问题。这个过程中为什么选择MySQL的容器呢?几点考量:

  第一、行业化里的商业软件都是用的VMware,

  第二、VMware在IO方面,在系统性能方面都有比较大的损耗。

  第三、行里在IAAS、PAAS方面建设好多年了,我们无状态的应用服务其实全部上了PAAS,全部上了容器,在这方面有一些技术的积累,结合行内对于云战略的规划,所以我们MySQL选择了上容器。上容器解决的两个技术要点:

  第一个就是容器对数据的持久化支持;

  第二个是对服务的暴露;

  整体我们MySQL上容器,在现阶段仅仅是把它作为一个虚拟化的技术,它的整个高可用,包括它的整个监控、整个的安装部署都是通过我们之前提到的管理平台来实施的。通过上容器,我们提供了一键式的环境供给能力,通过上容器把IAAS、PAAS全部打通过了,能很快的把基础环境,按照行内的标准和模式很快的供应出来。资源的使用效率提升提升了4到5倍。截止当前我们行内在MySQL上容器这块,应该是有400多个节点。

三、转型成效

  3.1 转型实施成果

  我们实施了至少120多个应用,2000多个服务器节点,超过2500个MySQL节点。实施的应用涉及很多核心业务,包括个人账户、对公账户、基金以及很多A类、B类的应用,大多都是主机上迁移过来的。其中还有少量应用是从Oracle迁移过来的,应用层也因此需要重构。

  我们通过MySQL支持的核心交易达到日均7亿的交易量,经历过双十一、2018年的双十一和春节的高峰期的1.5万的TPS。我们的架构现在通过横向扩展可以达到几万的TPS。我们就是基于3万TPS的设计目标进行了架构设计,理论上通过扩展设备还可以无限地增加。如果通过主机想达成这个目标,那么挑战就会比较大。

  另外通过良好的架构设计,我们可以满足两地三中心的架构要求,做到同城RPO=0,RTO<60s。刚才有人问到同城双活多活,现在很多的”多活”,包括互联网公司的架构,都是最多能够做到分片双活的维度,两边同时提供对外服务,但是同时对于某一分片数据的写入只能是单活的。

  通过架构转型,我们在自主能力方面,初步建立了企业级的基于MySQL的分布式解决的自主能力:首先是分布式框架+MySQL的应用级分布式解决方案,这个方案承载了我们很多的从主机下来的应用。其次是基于分布式中间件构成了所谓联机交易的数据库,这样能应对一些不是很复杂的场景,通过良好设计的分库分表方案就可以满足需求。

  在成本方面,我们在主机上的成本投入明显下降。这几年我们的业务交易量每年以20%的速度增长,但是主机并没有进行扩容,投入还逐年降低。商业产品的数据库的使用不仅实现零增长,还有所下降。从整个经费上来说,应该有比较大的降幅。

  3.2 典型案例1:个人账户平台

  介绍一下作为我们架构设计原型的个人账户平台,这是从主机上迁移下来的应用。当时的交易要求高并发、低延时,日均交易量3亿,这个应用的内部交易延时不能超过100ms,要求7×24小时的联机服务。

  我们实施的架构是高可用架构同城分片双活。实施效果是日均交易量超1亿以上,本地高可用做到自动化切换,RPO=0,RTO<30S。同城高可用切换也是60秒内切换。

  同时结合MySQL的管理平台,对自动化的切换能力进行了包装,同城的切换会面临着比较大的挑战:本地的高可用切换是基于SIP的,它是对应用透明的;而同城切换是对应用不透明的。于是我们设计了从服务器到数据库的整体切换流程,数据库要和应用服务器进行一些联动来实现同城自动化切换。

  3.3 典型案例2:信息辅助服务

  另外一个案例就是通过DBLE实现分布式数据库。这是第一个数据量比较大的系统,它要求高并发、低延时,日均交易量2亿,交易响应延时要求10ms以内,当时的业务数据量大概20T左右,还要求7×24小时的联机服务。我们的架构是通过分布式中间件做MySQL的分库分表,一共128个分片。我们对分片进行了合并部署,这看上去像是过度分片,但是资源使用上就收益很大。DBLE中间件在日间进行联机服务,夜间进行批量变更,把主机上的一些数据同步下来。这个架构整体上实现了本地和同城完全自动化切换,RPO=0,RTO<30S。

四、后期工作思路

  结合我们行的OLTP的数据转型,后续几个方向是我们行要大量工作的。

  第一个是云化服务。现在SaaS云也好还是什么云也好,工行对于一些新的技术是保持跟踪,当它有普遍性,很好的落地以后,可以使我们不会比互联网慢一拍,在技术经过更多的打磨,我们认为它成熟以后再引用。在云化服务方面,我们这边结合像MySQL,像其它的一些数据库,我们要加强云化服务的建设。通过我们刚才的一些平台也好,一些自主服务的建设也好,加强后面云化服务能力的建设。

  第二个是数据统一交换。我们刚才提到消息平台,它实现了应用和应用之间的数据交换,这个是业务级的。那么我们现在除了这样的一个业务级的,我们还需要一个系统级的来实现不同数据库和数据库系统级的准实时的数据的交换和复制,只有把数据流转,把它活动起来了,那么数据才能更好的发挥它的业务价值,我们行目前也在建设这一块的数据复制平台。

  第三个就是Oracle的转型。工行应该把Oracle这样的一些特性用的非常极致;基本上都是存储过程,当开发框架一确定,大家存储过程都是用笔勾几下或者拉几下就可以产生很多的流程,但它同时和具体的数据库绑定了,后面的维护、扩展都面临比较大的挑战。比如说如何用相对可以接受,相对较低的代价进行Oracle的转型,因为整个数据库、整个应用重构开发的代价还是非常非常大的,这个也是我们的后面需要探索和思考的事情。

  第四个就是对分布式的数据库。在分布式数据库来说,我刚才说了,我们从2015年以来,就一直跟踪着业界很多的分布式数据库的产品。我们应用级的分布式解决方案也好,包括我们的分布式访问层的解决方案也好,可能有些场景还真的是无法应对的。我们其实也在探索,随着生态圈和国内技术的逐步成熟,我们也在考虑分布式数据库技术的探索和引入的事情,同时从另外一个角度来说,在现在这种国际的关系形势下,需要做一些技术的储备,有自主支撑下来的能力。

Image placeholder
JamesDev
未设置
  12人点赞

没有讨论,发表一下自己的看法吧

推荐文章
面试官问:请介绍一下MySQL数据库的锁机制?

为什么要加锁问题背景当多个用户并发地存取数据时,在数据库中就会产生多个事务同时存取同一数据的情况。若对并发操作不加控制就可能会读取和存储不正确的数据,破坏数据库的一致性。要解决的问题多用户环境下保证数

Mysql数据实时同步实践

关于小米内部使用的数据库你知道多少?背景Mysql由于自身简单、高效、可靠的特点,成为小米内部使用最广泛的数据库,但是当数据量达到千万/亿级别的时候,mysql的相关操作会变的非常迟缓;如果这时还有实

MySQL 亿级数据数据库优化方案测试-银行交易流水记录的查询

作者:逸宸a链接:https://www.jianshu.com/p/cbdef47fb837对MySQL的性能和亿级数据的处理方法思考,以及分库分表到底该如何做,在什么场景比较合适?比如银行交易流水

【Golang+MySQL】记一次 MySQL 数据库迁移(一)

【Golang+mysql】记一次mysql数据库迁移(一)文章地址:https://github.com/stayfoo/stayfoo-hub一、准备目标: 腾讯云CVM自建mysql数据迁移到腾

巨杉TechDay回顾 | 与携程、巨杉、知乎大牛一起探寻DT时代数据库架构之道

数据,已成众多企业的核心资产。如今企业越来越懂得数据的重要性,也愈发清楚数据将为公司带来的巨大价值。在物联网、AI等技术的普及下,数据井喷仍在持续进行,如何更好地管理和使用这些“无穷无尽”的数据,则成

看完这篇,你还不能理解 ‘数据库架构’?趁早回家吧

来源:http://rrd.me/ep46N一、数据库架构原则高可用高性能一致性扩展性二、常见的架构方案方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用jdbc:mysql://vip:3

中信银行信用卡业务数据库实现国产替换,湖北银行新核心系统项目正式验收,阿里云与MongoDB达成战略合作

中信银行信用卡业务数据库实现国产替换10月31日,由IT168旗下ChinaUnix社区主办的第十一届中国系统架构师大会(SACC2019)在北京召开。会上,中信银行软件开发中心/技术平台开发处副处长

Spring Cloud 上手实战-架构解析及实作

Spring简介为什么要使用微服务单体应用:目前为止绝大部分的web应用软件采用单体应用,所有的应用的用户UI、业务逻辑、数据库访问都打包在一个应用程序上。缺点:开发相互干扰,随着应用的不断升级沟通协

金融行业微服务架构解析

转载本文需注明出处:微信公众号EAWorld,违者必究。引言:对于微服务,每个人都有自己的理解,与互联网企业的大量落地相比,微服务在传统金融行业还没有普及,这首先是传统金融行业线上系统需求更新和版本迭

MySQL 数据库操作:创建和查看数据库

数据库是数据的集合。MySQL允许我们高效地存储和检索数据库中的数据。在MySQL中,我们可以使用CREATEDATABASE语句创建数据库。但是,如果数据库已经存在,则会引发错误。为了避免该错误,我

MySQL 数据库操作:删除数据库

使用MySQL的DROPDATABASE命令可以很容易的删除一个数据库。数据库删除的同时,所属的数据表将一起被删除。如果删除的数据库不存在,则会引发错误。为了避免错误的发生,可以在DROPDATABA

《解密科技》之《万物互联 解密传感新时代》

当前,传感器技术已从单一型向功能、技术集合集成以及微型化、多功能、数字化、智能化、系列化、网络化发展。其应用领域也从高技术和军事领域迅速转移到大众化的民用领域,为传感器生产制造技术和产业化迎来了良好的

MySQL 性能优化:8 种常见 SQL 错误用法!

1、LIMIT语句分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般DBA想到的办法是在type,name,create_time字段上加组合索引。这样条件排序都

Oracle/云MySQL/MsSQL“大迁移”真相及最优方案

最近一段时间碰到一些数据迁移的项目,如:Oracle迁移到MySQL,MsSQL迁移到MySQL,云MySQL迁移到本地MySQL。对于这方面做了系统的整理。包括:迁移方案的选择、如何跳出迁移遇到的坑

一条SQL语句在MySQL中如何执行的

前两天发了一条SQL慢的原因有哪些,在那篇文章我没有说到优化器之类的,我觉得如果配合一条SQL是如何执行的,会更好,所以特地找了一篇。来源:JavaGuide  |作者:木木匠本篇文章会分析一个sql

mysql 进行update时,要更新的字段中有单引号或者双引号导致不能批量生成sql的问题

前言将数据从一张表迁移到另外一张表的过程中,通过mysql的concat方法批量生成sql时遇到了一个问题,即进行UPDATE更新操作时如果原表中的字段中包含单引号'或者双引号",那么就会生成不正确的

2019年8月数据库流行度排行:双星闪耀 MySQL 成月度最大赢家

炎炎夏日,DB-Engines的8月榜单已经发布,本月积分MySQL获得了最显著的增长,较上月增加了24分,Oracle获得了18分的增长,Oracle公司的两个王牌产品,闪耀8月。以下是前10名的榜

2019年9月数据库流行度排行:MySQL 强劲增长完成深 V 反转

导读:DB-Engines的2019年9月数据库流行度排行榜已经发布,本月最耀眼的明星是MySQL,分值大幅增长25.39分,较年初已经上升了125分,增幅达10%,完成了一次深V反转。相较之下,Or

欧洲最大MySQL用户之一,Booking.com数据库构架探秘!

吴鑫Booking.com数据库工程师TeamLead2015年加入总部位于阿姆斯特丹的Booking.com数据团队,现任数据库工程师团队负责人,主要是负责Booking.com里MySQL相关的运

GoldenDB ,一个已经全面支撑银行核心系统的国产数据库

摘要:沿用、并存还是替代,一直是银行核心系统数据库转型重点思考的问题。四大行目前主要采用的是沿用与并存的数据库产品战略,在确保稳定的大前提下对新兴数据库技术进行探索研究和实践。相对而言,股份制银行在这

「完整版」农业银行数据库使用实践和发展规划!

摘要:中国农业银行(以下简称:农行)在信息化系统建设过程中,先是把关系型数据库作为联机交易型数据库使用,后来为满足分析型应用需要开始使用分析型数据库,近几年来随着应用场景细分,对基于Hadoop的大数

SQL Server 2014的数据库引擎新增功能(参考sqlserver官方文档)

SQLServer2014数据库引擎引入了一些新功能和增强功能,这些功能可以提高设计、开发和维护数据存储系统的架构师、开发人员和管理员的能力和工作效率。  以下是 数据库引擎已增强的方面。数据库引擎功

Laravel-Binlog 扩展(用于实时监听 MySQL 数据变更、数据同步等场景)

Laravel-Binlogv0.2.1 (该扩展当前用于我司测试环境实时同步Mysql数据变更到ElasticSearch,稳定性待测试!!哈哈哈)我司正式环境走的阿里云DTS数据订阅 基于Sw

做银行家里的数据专家:ING探索大数据时代下的金融最佳实践

大数据文摘出品记者:高延6月18-21日,O’ReillyAIConference在北京召开。大会上,来自荷兰的金融公司ING的IT主管BasGeerdink带来了《关于数字驱动企业》的主题分享。进入

MySQL是怎么保证数据一致性的

在《写数据库同时发mq消息事务一致性的一种解决方案》一文的方案中把分布式事务巧妙转成了数据库事务。我们都知道关系型数据库事务能保证数据一致性,那数据库到底是怎么设计事务这一特性的呢?一、MySQL事务