偶数科技陶征霖:做数据库是站在巨人肩膀上前进

在数据智能时代,面对海量数据的爆发式增长,传统数据库面临着成本、性能方面的挑战,与此同时也为新参与者带来了机遇。

近两年国内数据库市场发生了变化,越来越多的企业和人才投身其中。2016年成立的偶数科技便是是一家非常年轻的数据库创业公司,不过其创始团队绝对是数据库行业的老兵,公司也先后获得红点中国、红杉中国的投资,目前其产品已在金融、公安、电信、工业、能源和互联网等行业得到广泛应用。

站在巨人肩膀上不重复造轮子

提起偶数科技或者其产品OushuDB你可能不太熟悉,但是提到Apache HAWQ你应该不陌生。2018年8月HAWQ毕业成为Apache的顶级项目并受到国内外开发者的青睐,而偶数科技的创始团队是HAWQ创始人及团队,OushuDB是Apache HAWQ的企业版本。

偶数数据库首席架构师陶征霖

近十年来偶数数据库首席架构师陶征霖一直专注数据库内核研发,对PG社区与生态有自己的热爱与贡献,Apache HAWQ和OushuDB也是基于PG开发。这两年国内对基础软件自主可控的呼声很高,陶征霖觉得大家都是站在巨人的肩膀上前进。

“你从头开始造轮子是很没有必要的,你可以在一个产品的基础之上,融入创新的技术和想法,让它能够解决客户痛点。”陶征霖说,而PG社区和生态便是那个巨人。

2006年Hadoop诞生以后,数据分析领域产生了两大技术路线,一种是基于Hadoop,另一种是MPP的大规模并行处理路线,Greenplum数据库是其中的代表。但是两大技术路线各有优缺点,Hadoop可以支持大规模的节点,但是性能很慢,而MPP快、兼容性好,但是节点规模并发度扩展性差。

陶征霖介绍HAWQ结合了Hadoop以及Greenplum的优点,打造出了一个高性能的针对分析型数据库的系统,此外,团队实现了新一代云数据库架构,使计算和存储完全分离。存储与计算分离已经被工业界无数的案例所验证,是目前比较好的一种架构方式,相比于传统数据库,在处理高并发、扩展性方面有极大的提升。

2016年偶数科技成立,OushuDB对HAWQ进行了两大方面的提升,首先是开发了全新的SIMD执行器,可以充分榨取CPU性能,经过TPC-H测试,性能可以提升10 倍。另一方面,在今年9月份发布的OushuDB 4.0版本中,开发了分布式表存储Magma,并将其作为OushuDB的新一代数据存储底层实现。从此,OushuDB拥有了自己的原生表存储。Magma和HDFS并驾齐驱,解决了HDFS不能高效支持的特性,比如Magma支持表数据Update/Delete/Index功能,提供自动的数据存储和服务高可用。

从HAWQ毕业的2018年开始开源数据库发生了一些动荡,Redis Lab、MongoDB、CockroachDB等开源数据库宣布修改许可协议,引起了业内人士的多方解读。陶征霖认为这是公司的商业行为,并不会影响到PG,PG依然很开放,偶数科技也在积极拥抱开源回馈开源。

“我们拥抱开源,现在HAWQ是Apache的顶级项目,我们接下来OushuDB一些新的功能也会不断往开源社区合并,希望进一步提升社区的活跃度,也希望越来越多的小伙伴能够加入Apache HAWQ这个社区。”陶征霖说,他知道相比国外,国内的开源发展还比较初级,需要时间积累与打磨。

数据库上云要循序渐进

现在越来越多的企业上云上平台,而数据库也被称为是云计算的终极战场。国内外的云计算厂商都在布局云数据库,Gartner预计2023年将有3/4的数据库迁往云端。

陶征霖认为云化是大势所趋,但是国内用户会稍微滞后一些,很多企业出于合规性以及隐私的考虑会从私有云开始,然后将不太敏感的数据迁移到公有云上,最后慢慢拥抱公有云。目前国内企业的观念和行为习惯还没有培养成,需要循序渐进。

我们都知道“不能为了上云而上云”,陶征霖从架构层面对这句话进行了解读,“能不能很好的上云更多的是分布式数据库原有的一些架构方面的考量,是不是完全做到计算存储相分离,是不是能够做到动态加减节点,是不是能够做到弹性伸缩。如果做不到这几点其实你只是为了上云而上云,但是你和云结合的并不好。”这几点特性在数据库方面知难行易,数据库本身是一个很重的系统,需要投入大量的时间和精力,团队从2013年HAWQ 1.0开始 ,重写了很多模块,相当于在数据库内部动了很大的手术,一直做到2018年才把一个传统的MPP数据库打造成了云原生数据库。

今年,除了OushuDB核心的系统以外,偶数科技还推出了LittleBoy人工智能套件,以及Lava云平台,期望为客户提供一体化的系统以及更为全面的智能化分析,OushuDB可以部署在私有云也可以部署在公有云。

目前业内对云数据并没有一个统一的定义,数据库也是最难迁移的软件技术之一,上云涉及到对原有IT资产的改造问题,是上云并不是纯粹的技术考量,也要权衡原有IT资产以及相关成本。陶征霖认为一切还要看客户的需求,“数据库上云相当于给客户多了一种选择。”

数据库经过40多年的发展,从Oracle、DB2、SQL Sever传统数据库,到以MySQL、PostgreSQL为代表的开源发展,以及现在的云时代。技术的迭代和市场的变化,使传统数据库厂商国内外的差距正在缩小,也为国内厂商带来了机会。越来越多企业和开发人员拥抱开源,HAWQ能够毕业成为Apache的顶级项目也证明国内技术人员并不比国外差。是否开源,是否上云,如何上云,在变革的当下,在百花齐放的今天,都是探索者。

“希望无论是HAWQ社区还是PG社区,都能越来越好。只有他们做好了,依托于这些社区的公司才能办得越来越好。”这是陶征霖真切的期望,他和偶数科技也将继续站在巨人的肩膀上前进。

Image placeholder
IT头条
未设置
  72人点赞

没有讨论,发表一下自己的看法吧

推荐文章
企业上云的背后 看新数科技如何推动数据库创新?

随着云时代的来临,特别是公有云的快速发展,给后起云厂商提供了一个难逢的机遇,使他们可以抛弃传统架构的束缚,采用新技术来重新设计数据库,从而更好的满足云计算时代下用户的需求。企业上“云”已然不是一个趋势

对话OceanBase资深总监韩鸿源:数据库是技术能力,云是使用方式,两者不应是竞争关系

5月10日,在第十届中国数据库技术大会(DTCC2019)上,蚂蚁金服的金融级分布式关系数据库OceanBase2.0,在经过200名数据库领域三年以上的从业者投票和专业评委的评选下,高分荣获了“年度

传统数据库是否会成为企业数字化转型的障碍?

国外Couchbase公司最近发布的一项调查显示,缺乏灵活性和可扩展性被认为是传统数据库最大的问题。该公司另一份报告显示,尽管数据库存在的问题会降低企业竞争力,但仍有超过半数的的企业和IT业内人士完全

梆梆安全:做以结果为导向的安全服务商

作为国内领先的安全服务提供商,梆梆安全不谈概念,始终从基本出发,致力于解决客户的根本性问题。通过运用领先技术提供专业可靠的服务,为全球政府、企业、开发者和消费者打造安全、稳固、可信的安全生态环境,其用

在摸索中前进的中国CRM迎来了转机?

根据Gartner数据,全球在客户体验和CRM软件支出2018年482亿美元,预计2019年将达到552亿美元,Salesforce依然一骑绝尘。国内CRM市场发展了也将近20年,历经传统安装软件、在

干货 | 揭秘京东数科强一致、高性能的分布式事务中间件JDTX

导读:在分布式数据库、云原生数据库、NewSQL等名词在数据库领域层出不穷的当今,变革——在这个相对稳定的领域已愈加不可避免。相比于完全革新,渐进式增强的方案在拥有厚重沉淀的行业则更受青睐。同所有分布

即使站在风口也未必能飞:SaaS公司生存指南

Salesforce市值突破1000亿美元,Slack的估值超过70亿美元,这似乎让人觉得SaaS成为风口,任何人只要站在这个风口上,就能获得成功,虽然这么说并不能说不对,尤其是在风险投资盛行的美

即使站在风口也未必能飞:SaaS公司生存指南

Salesforce市值突破1000亿美元,Slack的估值超过70亿美元,这似乎让人觉得SaaS成为风口,任何人只要站在这个风口上,就能获得成功,虽然这么说并不能说不对,尤其是在风险投资盛行的美国。

平安科技数据库总经理汪洋:开源数据库在平安的应用实践

本文转自| 平安科技数据库产品团队2019年5月9日,平安科技数据库产品及存储产品部总经理在第十届数据库技术大会DTCC上分享了《开源数据库在平安的应用实践》,本文根据演讲内容整理,围绕以下几个方面进

MySQL 数据库操作:创建和查看数据库

数据库是数据的集合。MySQL允许我们高效地存储和检索数据库中的数据。在MySQL中,我们可以使用CREATEDATABASE语句创建数据库。但是,如果数据库已经存在,则会引发错误。为了避免该错误,我

MySQL 数据库操作:删除数据库

使用MySQL的DROPDATABASE命令可以很容易的删除一个数据库。数据库删除的同时,所属的数据表将一起被删除。如果删除的数据库不存在,则会引发错误。为了避免错误的发生,可以在DROPDATABA

2019数据库趋势研究:谁是最受青睐的数据库?

哪些数据库在2019年最受青睐?本文向DeveloperWeek的数百名业内人士咨询了当前NoSQL与SQL的使用情况,得到了有关MySQL、MongoDB、PostgreSQL、Redis和其他方面

2019数据库趋势研究:谁是最受青睐的数据库?

哪些数据库在2019年最受青睐?本文向DeveloperWeek的数百名业内人士咨询了当前NoSQL与SQL的使用情况,得到了有关MySQL、MongoDB、PostgreSQL、Redis和其他方面

借力中国数据库技术大会 达梦DM8数据库新品正式发布

5月8日—10日,第十届中国数据库技术大会(DTCC2019)如约而至。本届大会以“数据风云,十年变迁”为主题,设定2大主会场及21个技术专场,邀请了来自国内外互联网、金融、教育等行业百余位技术专家,

穿过大数据迷雾 星环科技六载航行

数据是国家基础性战略资源,是21世纪的“钻石矿”与“新石油”,是几乎所有企业的必争之地,大数据的发展使越来越多的企业看到数据的价值。然而中国企业数据底子薄弱,基础软件发展落后,需要更多的企业和人才去建

AI 计算竞争升级,参访平安科技背后的硬实力

平安科技的四块科技版图,分别是云、认知、区块链和人工智能。所有的AI公司在AI领域中最核心的壁垒不是技术,因为技术都是人创造的,打磨团队就可以。核心的壁垒应该时间、业务和场景。智能科技的涌现、大数据

沈向洋离职微软!纳德拉亲笔信告别,美科技巨头最高级别华人告别硅谷

大数据文摘出品微软今日宣布,公司全球执行副总裁、人工智能与研究事业部负责人沈向洋博士将在明年1月1日正式离职。沈向洋并未透露其下一步计划。作为目前华人在美科技巨头公司中最高级别高管,沈向洋的离职,也代

神仙尬聊!哲学马云VS科技马斯克:生活就该每周工作12小时,开特斯拉玩遍三千城市

大数据文摘出品外星人马云的创业之路我们都很熟悉了,他在1999年创立阿里巴巴网站,正式走上了成为国内第一电子商务公司的道路。在美国还有另一位“外星人”为全球熟知,硅谷钢铁侠马斯克。提到他,大多数人会想

如何利用科技提高效率,降低成本

以前,企业用数据库来存储客户信息,这些信息必须谨慎保存,并且需要实时手动更新。今天,有许多自动化CRM工具在被设计时考虑了各个行业不同的需求。过去,无论企业规模大小,都必须向客户开具纸质发票,并等待数

支付宝芮雄文:用科技的力量,让天下无贼

众所周知,中国用户对移动支付的使用在全球来讲可以说是遥遥领先,无论是线上交易还是线下交易都对移动支付有着很强的依赖,而支付宝作为最主要的移动支付工具也广被大家使用。不少人认为,当移动支付替代了传统货币

《解密科技》之《万物互联 解密传感新时代》

当前,传感器技术已从单一型向功能、技术集合集成以及微型化、多功能、数字化、智能化、系列化、网络化发展。其应用领域也从高技术和军事领域迅速转移到大众化的民用领域,为传感器生产制造技术和产业化迎来了良好的

科技向善,一切从人开始

新闻头条应用依赖于人工智能技术向你推送最合适你的新闻内容;出行软件依托人工智能算法帮助司机选择路线、规划车辆调度方案;搜索引擎早已推升到了智能回答、智能助理、智能搜索的新层次;修图软件利用人工智能技术

准独角兽雷鸟科技出席SACC2019,讲述AI在场景互联网下的创新革命

10月31日至11月2日,由IT168旗下ITPUB企业社区平台主办的第十一届中国系统架构师大会(SACC2019)在北京召开。作为国内最具价值的技术交流盛会,也少不了今年热门的智慧大屏话题。据了解,

当金融科技遇上云原生,蚂蚁金服是怎么做安全架构的?

蚂蚁金服在过去十五年重塑支付改变生活,为全球超过十二亿人提供服务,这些背后离不开技术的支撑。在2019杭州云栖大会上,蚂蚁金服将十五年来的技术沉淀,以及面向未来的金融技术创新和参会者分享。我们将其中的

星环科技宣布完成约5亿元D2轮融资

10月24日消息,大数据与人工智能基础软件厂商星环科技今日宣布,完成D2轮融资,融资金额约5亿元人民币。参与本轮投资的包括知名投资机构金石投资、中金资本、渤海中盛和国家级的产业投资基金。这距星环科技D