巨杉TechDay回顾 | 与携程、巨杉、知乎大牛一起探寻DT时代数据库架构之道

数据,已成众多企业的核心资产。如今企业越来越懂得数据的重要性,也愈发清楚数据将为公司带来的巨大价值。在物联网、AI等技术的普及下,数据井喷仍在持续进行,如何更好地管理和使用这些“无穷无尽”的数据,则成为了关键任务,也成为了企业IT架构最大的挑战之一。数据库在这之中承载着重要的使命,而且将会更加重要。

  3月30日,“巨杉TechDay:大数据时代数据库架构演进与实践”技术沙龙在中关村机械骑士咖啡书店举办。通过搭建一个互相交流与沟通联系的平台,帮助各位DBA分享经验、交流思想、争论观点、畅想未来。

  活动期间,携程网数据库技术专家孙天浩、巨杉数据库北美研发实验室核心技术专家Danny以及知乎数据库平台负责人李亚舟分别进行了主题分享,共同探讨了在海量数据时代下数据库的实践之道。

   海量数据下携程数据库架构的探索和实践

  2010年,携程的业务得到了快速发展,这对其架构提出了更高的要求。此前数据库混布,无任何Sharding方案,程序日志存放在数据库,用复制分发做读写分离架构的传统架构已难以满足现状。

  为此,携程相关团队对数据库架构进行了一系列的演进与改造升级,包括前期数据sharding设计,中期的数据库扩展维护和开发改造,以及后期优化海量数据存储等方面的一些问题。

  孙天浩在分享中介绍了携程数据库团队在架构升级过程中的技术方案,并对NewSQL数据库在应对这一场景时的优势进行了解读,包括:解决扩展问题、支持ACID、支持SQL、Paxos / raft 数据强一致性保证、OLTP / OLAT 均有适用场景等等。

   海量数据下分布式数据库设计实践

  来自巨杉数据库北美研发实验室的Danny,以远程在线互动的方式进行了分享与答疑。Danny曾任职于IBM,拥有10年以上的DB2内核开发经验,此外还曾是华为DB C-TMG成员。在分享中,Danny对原生分布式数据库与分库分表、垂直分库三种架构进行了对比,详细分析了三者的各自优劣之处。

  Danny还对SequoiaDB进行了详细介绍。SequoiaDB是巨杉数据库推出的一款金融级分布式数据库,拥有分布式关系型数据库、分布式文件系统与对象存储、高性能多模存储三种存储模式,支持标准SQL的访问,同时实现了行业标准MySQL、PostgreSQL以及SparkSQL语法及协议的100%兼容,全面支持金融级分布式OLTP以及HTAP混合事务/分析处理。

  最后,在与工作人员的协同下,现场为大家演示了具体的性能测试,并分享了MySQL兼容样例,在分享与交流演示中,整场分享可谓干货满满。

   知乎数据库架构的演进

  作为国内最大的知识问答平台之一,知乎拥有上亿用户,这意味着该公司业务系统中的数据量非同小可。

  在分享中,李亚舟对知乎数据库架构演进过程中遇到的问题和解决思路进行了讲解,主要包括实例调度、在线变更、高可用、中间件等机制的实现与推进过程。

  据介绍,知乎数据库架构的演进是跟随着服务化进程推进的,而且实现了较细粒度地按业务拆分,现在已经有500+个主从集群。在知乎数据库架构中,通过高可用性来保障业务的稳定性,同时具备基础扩展能力,来支持业务早期的快速迭代。演进期间实施了 MySQL 服务质量治理、升级 5.7、开启 GTID、多机房建设、成本优化等项目。

   原生分布式数据库 or 分布式数据库中间件

  在主题分享结束之后的提问与讨论环节,三位演讲嘉宾还对现场观众存在的疑惑进行了细致的解答,共同就原生分布式数据库与分布式数据库中间件的适用业务场景,未来发展趋势等展开探讨,在热烈交流中碰撞火花、激荡思想。

  从现场的反响来看,无论是观众还是讲师,都表示在此次交流中收获颇丰。

  伴随着热烈的现场交流,本次的巨杉TechDay技术沙龙活动圆满结束。你是不是觉得意犹未尽,那就继续关注巨杉TechDay下一次的精彩活动吧!

Image placeholder
minirui
未设置
  25人点赞

没有讨论,发表一下自己的看法吧

推荐文章
大数据时代,数据湖并不能完全取代数据仓库

数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口,为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。尽管出现了基于Hadoop和其他一些大数据技术的数据湖

工商银行MySQL数据库架构解密

本文根据DTCC数据库大会分享内容整理而成,将介绍工行IT架构转型中传统OLTP数据库架构面临的挑战和诉求,构建基于MySQL分布式企业级解决方案实践历程,包括技术选择、高可用设计、两地三中心容灾、运

看完这篇,你还不能理解 ‘数据库架构’?趁早回家吧

来源:http://rrd.me/ep46N一、数据库架构原则高可用高性能一致性扩展性二、常见的架构方案方案一:主备架构,只有主库提供读写服务,备库冗余作故障转移用jdbc:mysql://vip:3

DTCC | 云数据库时代已来,你准备好了吗?

作为基础软件之一,数据库一直是企业IT系统的核心,过去数十年,数据库技术发展缓慢。而随着云计算的到来及相关技术的不断成熟推动了数据库行业的快速发展,传统数据库铁打的防线也正在被撕裂。截至目前,全球主流

基础架构之百变魔方

转载本文需注明出处:微信公众号EAWorld,违者必究。引言:“基础架构即代码(Infrastructure-as-Code,IaC)”是一种使用新的技术来构建和管理动态基础设施的方式。它把基础设施、

微服务架构之「 服务注册 」

微服务架构是一个庞大复杂的工程,为什么说它庞大复杂呢?因为想要做好微服务,就必须先要建设好微服务所需的一系列基础设施和组件。我在前面的文章《架构设计之「微服务入门」》中已经初步介绍过了这些组件,包括:

jQuery回调函数不执行

jQuery回调函数不执行jQuery$.post不执行回调函数,原来服务器返回的contentType为text/json,但是,这个JSON中的属性没有用引号引起来,所以jQuery没有去执行回调

干货 | 每天十亿级数据更新,秒出查询结果,ClickHouse在携程酒店的应用

本文转自 |携程技术中心 作者 |蔡岳毅作者简介蔡岳毅,携程酒店大数据高级研发经理,负责酒店数据智能平台研发,大数据技术创新工作。喜欢探索研究大数据的开源技术框架。一、背景1)携程酒店每天有上千表,累

已配置 4000+ 页面,携程前端组件化探索之“乐高”运营系统

一、前言 市场部活动组主要负责各种运营活动的相关开发,分为常规运营活动和定制运营活动。常规运营活动因为组件(模块)具有复用性,并且配置化需求非常多,因此我们建设了一个可视化页面搭建平台——乐高(leg

张建锋:当代数字化升级的四大关键技术

9月25日,为期三天的2019云栖大会在杭州云栖小镇正式召开,阿里巴巴集团CTO兼阿里云智能总裁张建锋在上午的主会场中发表《构建数字经济基础设施》演讲,提出了当代数字化升级的四大关键技术。阿里巴巴集团

DM8新品发布会:中国数据库四十年的回顾与展望

在希腊神话中,普罗米修斯为了人类播下了火种,促进了人类文明的进步。中国数据库的发展历程中,也有这么一批“播种者”,不断为数据库的延续发展而砥砺前行。在上世纪七八十年代,伴随着登月工程等大型项目而生的数

DTCC2019 :“数据架构设计实践专场”等您来!

  2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京新云南大酒店召开。本次大会将以“数据风云,十年变迁”为主题,邀请百

Oracle ADW业务数据平台点亮DTCC2019数据库技术大会!

数字大脑、互联网+、智能+、人工智能、边缘计算……信息技术领域好像从不缺少概念,但无论世界如何变化,数据是一切业务的核心。要想有效管理、分析和挖掘数据带来的价值,数据库一定是必需品。2019年5月8日

架构修炼之道 | 一个传统网关系统有几种 “死” 法

本文节选自《架构修炼之道》,作者京东王新栋。图| meghan-holmes-779221-unsplash这里说的传统,是按照网关技术演进的阶段划分的,从同步到半同步,再到全异步,我们将同步和半同步

来SACC2019共论“数字转型 架构演进”之道

2019已经过半,第十一届中国系统架构师大会SACC2019的脚步也越来越近了,十年来中国系统架构师大会SACC一直紧跟系统架构关键技术热点,成为架构师、CTO、CIO以及各研发人员学习交流的前沿阵地

数据库大牛李海翔详解全局读一致性技术

作者简介:李海翔,网名“那海蓝蓝”,腾讯金融云数据库技术专家。中国人民大学信息学院工程硕士企业导师。著有《数据库事务处理的艺术:事务管理和并发访问控制》、《数据库查询优化器的艺术:原理解析与SQL性能

Redis为什么是单线程、及高并发快的3大原因详解

Redis的高并发和快速原因 1.redis是基于内存的,内存的读写速度非常快; 2.redis是单线程的,省去了很多上下文切换线程的时间; 3.redis使用多路复用技术,可以处理并发的连接。非阻塞

Linux中的权限、进程、服务、网络的管理与防火墙

查看权限 使用ls-l,或者ls命令查看目录下的文件,第一列就是文件或者目录的权限位: [test@ubuntu:~]$ls-l -rw-rw-r--1testtest0Sep2316:18fil

海量数据时代,金融行业数据库实践难题如何解决?

随着数字经济时代的到来,大数据、人工智能技术得到了快速发展与应用,可以说,各行各业都已全情投入到这一波数字化转型浪潮中,把握新的发展机遇,获取数字红利。其中,金融行业可以说是走在转型之路最前沿的行业之

大咖齐聚DTCC2019,共论云数据库前景

2019年5月8日,由IT168旗下ITPUB企业社区平台主办的第十届数据库技术大会(DTCC2019),在北京新云南皇冠酒店正式开场。本届大会以“数据风云十年变迁”为主题,百余位行业专家就热点技术话

直击DTCC2019现场:数据库智能化运维探索与实践

5月10日,第十届中国数据库技术大会(DTCC2019)正在火热进行中。作为本届大会讨论的焦点之一,“数据库智能运维”专场人气爆棚,来自京东物流、腾讯、字节跳动、京东商城、便利峰的行业专家出席现场,他

首日精彩 DTCC大会见证数据库领域十年变迁!

【ITPUB独家报道】2019年5月8日-10日,第十届中国数据库技术大会(DTCC2019)在北京新云南皇冠假日酒店隆重召开。作为国内顶级的数据领域技术盛会,本次大会以“数据风云十年变迁”为主

(PPT 下载,来了!)DTCC2019 中国数据库技术大会见证实录

2019年5月8日-10日,DTCC2019第十届中国数据库技术大会历时3天,圆满收官。作为国内顶级的数据领域技术盛会,共有23个技术场次,邀请超过125名专家,包括来自阿里、京东、苏宁、滴滴出行、百

DTCC观察:华为云数据库的优势积累与技术选择

摘要:作为公有云市场的重磅参与者,华为云数据库相比竞争对手有哪些优势?这可能是很多不了解华为云数据库人的第一反应。华为云数据库产品架构如何布局?作为第一个基于MySQL8.0开发的云原生分布式数据库,

DTCC2019数据库技术评选结果全面揭晓,四大类别奖项新鲜出炉!

数据风云,十年变迁,而DTCC是一切变革的见证者。作为数据库领域顶尖级的盛会,DTCC已经成功举办了九届,今年是第十届。继承往届会议规模大、涉及话题更前沿、演讲内容更深入等特点之外,DTCC2019数