从MySQL到POLARDB, 三位CTO讲述迁移背后的故事!

摘要: 去年9月21日,阿里云发布了自主研发的通用云数据库POLARDB公测版,今年4月,POLARDB正式商业化。

此前,POLARDB核心卖点是100%向下兼容MySQL 5.6,100TB存储容量,性能是官方MySQL的6倍,跑分超越AWS Aurora。

(阿里云数据库事业部总经理曹伟(花名:鸣嵩))

近日,在2018杭州云栖大会上,阿里云数据库事业部总经理曹伟(花名:鸣嵩)在接受笔者采访时,介绍了过去一年POLARDB的变化:

1、在写性能方面,再度提升近2倍,去年13万QPS,今年达到了25万QPS;POLARDB还支持多达16个节点,其聚合读性能超过1000万QPS;在相同测试流程下,POLARDB写性能比AWS Aurora快了近两倍;

2、在读写分离方面,提供了会话一致性的读写分离支持。虽然读写分写是常用技术,但通常读节点会有一定程度的延迟问题,对此,POLARDB新增了智能网关技术,用户可以在主节点上完成写,再从分节点实现读,满足了用户的读写一致性的需求。

3、SQL加速能力,通过使用MPP技术,能够让一条SQL同时在16个节点上执行,从而把一条复杂SQL的查询时间缩短了8-20倍。

4、在数据库稳定性上,POLARDB是目前全球唯一一家在生产环节大规模使用Optane技术的云服务商,3D XPoint技术能像写内存一样,从物理上消除QOS抖动,数据库跑起来写请求会更平稳。

在鸣嵩看来,POLARDB的最大优势是,客户只需要付出开源数据库的价格就能获得 商业数据库的性能和特性 。鸣嵩还透露,阿里云预计在年底会推出POLARDB PostgreSQL版。

对于正受困于数据库瓶颈的企业而言,POLARDB的性价比、阿里云的市场地位与阿里巴巴的技术实力及品牌影响力,无疑有着不小的诱惑力,但广告再好也要看疗效,决定将数据库迁移到POLARDB,并不是一个简单的过程,势必会遇到很多问题,如何评估考量,如何实施,需要注意些什么?近日,笔者就遇到了三家已经完成从MySQL迁移到POLARDB的企业技术负责人,我们一起听听他们的经验分享。

法大大CTO 陈立清

校宝在线CTO 胡淼

果仁软件联合创始人&研发副总 赵亚南

瓶颈产生

法大大,国内第三方电子合同平台,拥有660多万企业用户,业务发展很快。据法大大CTO陈立清介绍,每天在法大大的平台上,合同签署量约在270万到300万份,最大的证书表约有17.8亿,占数据库852G。

法大大经历的过程很具代表性,从一个主库再到读写分离,再拆分成20个实例。不少互联网创业公司相信都会经历类似的阶段。

2017年5月,法大大在北京、杭州、深圳建立3个节点(相当于三个数据中心),并构建了双活架构,而问题就在这时候产生了。

当初,法大大采用的数据库是MySQL,最明显的数据容量限制是3TB。据陈立清介绍,法大大每个月仅结构化数据的增长量就1TB多,因此,必须要有一个大数据库来汇总这部分数据,否则,就会有大问题。比如,法大大分了三个数据中心后,华东用户会路由到杭州数据中心,但如果涉及到分子公司情况,用户总部在北京,其实数据源在北京,子公司先登入杭州,实际上是查不到数据的,因此,只能又跳回北京。当用户量很大时,这就对程序的复杂性及用户性能都会带来很大挑战。

校宝在线,成立于2010年,是国内民办教育信息化服务提供商,行业内首家新三板挂牌企业。帮助超过60000个教育品牌实现信息化管理,帮助超过140000个校区实现互联网+教育的业务升级,服务教育从业者超80万,年经办交易流水300亿元。

校宝在线业务发展同样很快,数据量也不小。据校宝在线CTO胡淼介绍,校宝在线数据库单表亿级数据、单业务库几百个GB。主要问题有2个方面,其一,读写不一致性;其二、扩容慢;

业务访问高峰期,因为校宝在线的业务并非同一事务性,导致读写不一致性,简单的说,就是刚写的数据,客户查不到,必须要刷新才能看到。据胡淼介绍,虽然校宝在线能够根据业务发展,预知扩容操作,但这个预知不会太早,一般是提前一天,这导致了尴尬问题的发生。胡淼说,有一次晚上7点,开始进行扩容,但直到第二天早上业务高峰来临之前,依然没有扩容成功,最终只能打电话跟业务公司取消操作,否则业务高峰上来客户感知会非常差。因为没扩容成功,最终只能对客户进行限流来保障。

果仁软件,2014年8月成立,前身为苏州十万火急网络科技有限公司,从事阿里巴巴平台系列软件开发。

据果仁软件联合创始人&研发副总赵亚南介绍,四年前,果仁软件开发了一款蝌蚪云餐饮系统,为餐厅提供从点餐到收银到后厨管理的SaaS化的解决方案。

众所周知,餐饮行业的特点是业务高峰并发性非常明显。通常在中午12点并发量会瞬间飙升。过去几年,餐厅对SaaS接受程度不高,根本原因在于SaaS采用在线形式,而餐点网络环境通常都比较慢、卡,因此,对稳定性要求高,需要更快查询,统计报表的要求比较高。

随着餐厅业务量越来越大,上万家餐厅每天都有几万单,还有菜品的详情,大量的增量数据产生,库表也达到一两百张,导致业务上需要不断做更新。

过去果仁软件采用比较传统的做法,定时跑任务,但这样带来的问题是数据会延迟1分多钟才能出现。

综上所述,三家企业要选择新数据库的根本原因其实大同小异,都是业务迅速发展,导致数据库瓶颈,面临的问题使用现有办法很难有效解决,到了必须要引入新技术的地步,否则投入的人工和硬件成本会急剧上升。

评估考量

在选择新数据库的过程中,三家企业的关注点并不尽相同,但都围绕自身需求展开。

法大大有3个关注点:

1、能与MySQL很好的兼容,平滑迁移,不会导致额外增加工作量。

2、突破3TB容量限制;

3、读写分离,数据汇总放在主库,相关查询、统计等放在读库,获得性能进一步提升;

校宝在线2个关注点:

1、解决读写不一致性的问题;

2、解决扩容问题;

果仁软件2个关注点:

1、需要一个介于MySQL和大数据库之间产品,能提高性能;

2、解决增量分储,减少开发人员不断对业务进行库表的分表分库;

虽然三人都强调,从技术层面而言,成本多少不是其最关注的问题,主要关注点还是业务本身的平稳,包括怎么样给客户提供最优质的服务,但如果两个都能兼顾,那当然是最好了。

选型过程

对于为什么会选择POLARDB?其实这三家并没有经历复杂的选型过程,因为,这三家本身就是阿里云的用户,所以,当数据库遇到瓶颈后,选择使用阿里云新发布的POLARDB就变得顺理成章。

陈立清表示,法大大一开始就在阿里云上,跟阿里云配合也很多,并配有专门的钉钉服务组。因此,当法大大的数据库出现瓶颈后,就与阿里云有过多次沟通包括远程会议。

即便是阿里云用户,但POLARDB毕竟是新品,所以前期论证,还花费了比较多的时间,陈立清说。

胡淼则表示,此前校宝在线一直与阿里云有合作,所以,对阿里云有较好的信任基础。当校宝在线遇到业务上的技术难题时,也会跟阿里云探讨怎么办,当时探讨结果,POLARDB可能是一个不错的选择,因此,在阿里云还没有放出POLARDB一些新功能新特性,校宝在线就已经提前试用了。

12月12日,校宝在线正式申请了POLARDB,事实上,测试工作在更早就开始了。在整个数据库架构画出来,相关问题得到一个一个解决以后,校宝在线才真正下定决心使用它。

胡淼特别强调,在整个过程中,阿里云全程陪护,技术的感觉有了,服务很到位。也是选择POLARDB的一个很重要的原因。整个升级的过程并没有预想中的那么夸张,非常平滑的完成迁移。

赵亚南则表示,果仁软件主要是从事阿里巴巴平台系列软件开发,属于淘宝开放平台的开发者,所以上云肯定是首选阿里云,并且对阿里云其他产品如负载均衡,存储,RDS等都有试用和研究。

但即便是阿里云的用户,在签阿里云数据库资源时,果仁软件所有开发人员依然很担心,因为POLARDB是新品,做技术的第一反应是存在风险,当时抱着怀疑态度,但在今年要解决瓶颈的目标推动下,还是与阿里云进行了联系。

实施策略

即便本身是阿里云的用户,但对于POLARDB这个新产品,三家企业在实施过程中都保持谨慎的态度,都从测试环境开始,慢慢过渡到业务系统。

陈立清介绍了法大大的实施过程,先在测试环境上开始使用,然后逐步引入:

第一步、汇总低频使用的归档数据,如电子合同业务,做全流程的验证;

第二步、后端开始应用于报表、相关BI统计和分析;

第三步、在生产环境应用,面向前端的客户;

校宝在线、果仁软件的实施过程也大同小异,在采用前做了大量研究测试,如测试POLARDB对MySQL的兼容性是否达到100%,业务环境全流程测试结果,大体库表查询测试等等。

成本变化

成本是除了性能之外另外一个绕不开的话题,迁移之后,总体成本是否有大幅上升?这可能会是企业在解决业务困境后,转而关注的问题。

据胡淼介绍,因为只读实例比较多,从MySQL迁移到POLARDB,对校宝在线而言整体成本没有上升。

赵亚南表示,非常关注成本,果仁软件用了RDS的只读和预上线,实例 有很多 ,成本一月在四五千,使用了POLARDB后,整体成本反而下降了20%左右。因为,POLARDB使用了共享存储技术,所以,只读用的越多,POLARDB相比普通的RDS反而越便宜。

写在最后

在采访中,能明显感觉到三家企业技术负责人对迁移结果还是满意的。虽然,最初有担心,有怀疑,甚至抱着不计成本也要解决瓶颈的勇气,但最终结果显然要优于预期,问题得到解决,而且成本并没有明显增长,甚至有的还有下降。

对绝大多数企业而言,自建或自研数据库显然不是最佳选择,往云上迁移,降低成本才是必经之路,如果云服务商提供的数据库产品能解决自身问题,好用且成本能接受,服务有延续性,那么企业就会因此而买单。

对于企业来说,最重要的还是专注,把核心精力聚焦在自身核心业务上,做好产品,为客户创造价值。

Image placeholder
Retouch001_DT
未设置
  23人点赞

没有讨论,发表一下自己的看法吧

推荐文章
码龄超过20年,依然对生活和编程充满激情,这是三位70后“老”程序员的故事

大数据文摘出品作者:周素云、张秋玥加班996,生病ICU。这是一句最近搅乱了很多程序员平静生活,也让所有的“社畜”认真反思人生的话题。但是,让程序员们真正感到焦虑的其实并不只是工作的压力,更多的是对未

信泰人寿“去IOE”背后的故事

十年前,以IBM小型机、Oracle数据库和EMC存储设备为代表的IT基础体系,被广泛应用在全球各大企业当中,并长时间垄断了国内商业数据库领域,紧攥着中国信息安全的命脉。彼时,“IOE”三大巨头,稳坐

【Golang+MySQL】记一次 MySQL 数据库迁移(一)

【Golang+mysql】记一次mysql数据库迁移(一)文章地址:https://github.com/stayfoo/stayfoo-hub一、准备目标: 腾讯云CVM自建mysql数据迁移到腾

从Oracle到PostgreSQL,某保险公司迁移实践

摘要:去O一直是金融保险行业永恒的话题,但去O的难度之大也只有真正经历过的人才知其中的艰辛。此次笔者结合实际去O工作,对去O过程中碰到的DBLINK、SEQUENCE最大值、空串、SQL语句中的别名等

看文吃瓜:React 遭遇 V8 性能崩溃的故事

本篇文章主要讲述V8如何选择JavaScript值在内存中表现形式的优化方式,以及解释Reactcore在V8中出现的性能断崖。 在这之前,我们讨论过JavaScript引擎如何通过使用内联缓存(

第三方支付 : 概述、起源 | PayPal 和支付宝 的诞生的故事

说起第三方支付,好像大家都知道,天天不是用支付宝和微信吗?支付宝和微信支付确实是行业内非常具有代表的第三方支付公司,但现在他们已经不完全是一家第三方支付公司,都可以称为金融集团。其实第三方支付,远远不

Oracle/云MySQL/MsSQL“大迁移”真相及最优方案

最近一段时间碰到一些数据迁移的项目,如:Oracle迁移到MySQL,MsSQL迁移到MySQL,云MySQL迁移到本地MySQL。对于这方面做了系统的整理。包括:迁移方案的选择、如何跳出迁移遇到的坑

揭秘华新水泥核心业务上云的背后故事

武汉地处九省通衢之地,“敢为人先,追求卓越”的武汉精神,引领着武汉在科技“攻尖”与产业“攻坚”方面硕果连连。近日,“武汉·选择不凡华为云城市峰会2019”成功举办,华为云与湖北政企客户及伙伴共同探讨“

阿里云小蜜对话机器人背后的核心算法

0.对话系统简介 对话系统的一般架构如图: 图1:对话系统一般架构 这是我们所熟知的对话系统框架,这里面主要有:NLU自然语言理解,DM对话管理,NLG自然语言生成3个主要模块,DM里面有dialo

AI 计算竞争升级,参访平安科技背后的硬实力

平安科技的四块科技版图,分别是云、认知、区块链和人工智能。所有的AI公司在AI领域中最核心的壁垒不是技术,因为技术都是人创造的,打磨团队就可以。核心的壁垒应该时间、业务和场景。智能科技的涌现、大数据

腾讯财报背后的小秘密:转型路上的未知

8月14日,腾讯发布第二季度财报,不凑巧的是,当日欧市盘中,美国2年期与10年期国债利率发生2007年来首次倒挂,引起市场对经济衰退的恐慌,美股三大指数均暴跌3%。8月15日,中国香港恒生指数低开1.

从跟随者到开拓者,阿里云数据库角色变化背后的机遇与挑战

数据库经过40多年的发展与变迁已经改写了格局,在开源、云端浪潮之下曾经的数据库霸主Oracle也已经跌下王座,不断向着云与智能化发展,新的厂商也获得了各自机会,在云数据库时代是一个百花齐放、百家争鸣的

“小应用”背后的“大改变” 爱奇艺赋能流媒体播放服务

热门视频里,“弹幕盖脸”几乎是必然事件,然而有一个地方看视频,你会发现密密麻麻的弹幕都绕开主角飘过,这个地方就是爱奇艺。对于大家观看视频时喜闻乐见的弹幕,爱奇艺提供了蒙版弹幕服务,可以让用户实现“弹幕

云徙助力良品铺子「双11」:成为5.6亿背后的技术力量

每逢双十一时节,品牌的种草之心被推到顶峰。在密集的信息交汇中,消费者希望获取有价值的消费决策,品牌则希望被广泛看见、被坚定选择,此时,格外凸显出中台+精准营销的重要意义。双11购物狂欢节”已走过11个

2019全球PostgreSQL生态报告出炉,PG为何从RDBMS中脱颖而出?

墨墨导读:本文是近期ScaleGrid发布的2019PG趋势报告,从不同的角度解读了PostgreSQL如何在众多优秀的RDBMS中脱颖而出,原文:https://scalegrid.io/blog/

MySQL 性能优化:8 种常见 SQL 错误用法!

1、LIMIT语句分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般DBA想到的办法是在type,name,create_time字段上加组合索引。这样条件排序都

一条SQL语句在MySQL中如何执行的

前两天发了一条SQL慢的原因有哪些,在那篇文章我没有说到优化器之类的,我觉得如果配合一条SQL是如何执行的,会更好,所以特地找了一篇。来源:JavaGuide  |作者:木木匠本篇文章会分析一个sql

mysql 进行update时,要更新的字段中有单引号或者双引号导致不能批量生成sql的问题

前言将数据从一张表迁移到另外一张表的过程中,通过mysql的concat方法批量生成sql时遇到了一个问题,即进行UPDATE更新操作时如果原表中的字段中包含单引号'或者双引号",那么就会生成不正确的

全球“黑客大赛”冠军霸气讲述:我是如何让50个文件一起骗过AI安防系统的?

大数据文摘出品来源:medium编译:邢畅、张睿毅、钱天培你有没有想过当黑客呢?破解手机密码,黑入公司系统,甚至…控制全球电脑。打住打住!违法犯罪的念头显然不能有。再退一步讲,咱也不一定有这本事。尤其

准独角兽雷鸟科技出席SACC2019,讲述AI在场景互联网下的创新革命

10月31日至11月2日,由IT168旗下ITPUB企业社区平台主办的第十一届中国系统架构师大会(SACC2019)在北京召开。作为国内最具价值的技术交流盛会,也少不了今年热门的智慧大屏话题。据了解,

从P4到P9, 在马云家写代码到双11前端PM

导读:今年的双11已经是阿里资深前端技术专家舒文来阿里的第11年,从应届生到双11前端PM,他一路升级打怪,实现了岗位上从P4到P9的晋升。这第11届双11顺利结束之际,他把在阿里这些年的成长经历做一

《从PPTV网络视频,到PPIO区块链分布式存储》

摘要:2019年11月26日,同济创业谷与PPIOCodeTalks联合举办了《创新X-区块链与创新创业》区块链技术分享会,本期我们为读者带来主题分享--《从PPTV网络视频,到PPIO区块链分布式存

一图读懂POLARDB BOX的云原生力量

9月26日,2019杭州云栖大会上,阿里云宣布正式推出高性能数据库一体机——POLARDBBOX,用户部署在自有数据中心即可享受云数据库的便捷体验,同时还为Oracle等传统数据库用户提供一键迁移功能

如何看待阿里云发布POLARDB Box数据库一体机

9月26日,2019杭州云栖大会上,阿里云宣布正式推出高性能数据库一体机POLARDBBox,这是业内首次推出基于云原生数据库的一体机。“POLARDBBox是一款跨时代的产品,打破了云数据库的服务边

从 Oracle 到 PostgreSQL ,某保险公司迁移实践

作者 |章晨曦编辑 | 老鱼摘要:去O一直是金融保险行业永恒的话题,但去O的难度之大也只有真正经历过的人才知其中的艰辛。此次笔者结合实际去O工作,对去O过程中碰到的DBLINK、SEQUENCE最大值