直击DTCC2019现场:数据库智能化运维探索与实践

5月10日,第十届中国数据库技术大会(DTCC2019)正在火热进行中。作为本届大会讨论的焦点之一,“数据库智能运维”专场人气爆棚,来自京东物流、腾讯、字节跳动、京东商城、便利峰的行业专家出席现场,他们就数据库自动化运维、异地容灾系统等热点话题作出经验分享。

京东物流超大规模仓储系统数据库集群大促保障秘诀

京东物流极速的购物体验中,仓储和配送时效是最为关键的一环。在电商行业中,京东物流拥有超强仓储管理系统(简称WMS系统),涵盖了从在库、入库、出库等环节,特别是在电商行业中独有的超大规模仓储系统集群,在其中起到了决定性的作用。

  ▲京东物流资深DBA高文佳

高文佳对WMS系统做了详细介绍,并针对数据库运维提出了六点建议:敬畏生产环境,心存敬畏,方能行有所止;规范流程操作,拒绝人情“事故”;定期故障演练,做好紧急预案;高危操作+双人确认,减少误操作;主动运维+自动运维,避免紧急救火;开展培训+积极沟通,将风险截留在开发阶段。

TDSQL智能运维平台—扁鹊架构与实践

作为一款金融级数据库,TDSQL具备六大核心特性,包括数据强一致性、金融级高可用、高性能低成本、企业级安全性、线性水平扩展、智能化运维。TDSQL通过提供“赤兔”自助运营和“扁鹊”智能DBA彻底规避人为误操作带来的安全隐患。

  ▲腾讯金融云T4专家雷海林

“赤兔”自助运营服务,可以从管理员视角,在可用性、安全、效率、成本维度进行全方位管控,90%的日常运营操作均可以通过Web页面完成,减少人为差错同时帮助金融用户节约管理及经济成本、降低风险。

雷海林介绍道,“扁鹊”智能DBA则具备故障预警、故障自动诊断、历史事件剖析、优化建议、操作通过管理台自助化、降低DBA工作强度等特性,帮助金融用户防范系统异常。

Canal的自动化运维以及异地容灾系统实践

传统数据库的运维方式,很难满足大数据场景下的稳定性和高效性。Canal作为中间件解决了MySQL Binlog的获取,将Binlog保存到消息队列中,后续接流式计算框架,或者离线计算框架。

对此,字节跳动对 Canal的智能化运维,自动感知数据库的变更和主动适配,并提出多机房部署及异地容灾解决方案,实现了多机房 Canal 实例的统一智能管理。李畅表示,“我们采用Manager Mode架构,要求保证数据一致性、准确性,服务的稳定性,做离线数仓建设和在线实时同步。”

  ▲字节跳动高级大数据平台工程师李畅

对于未来的发展规划,李畅透露,“我们希望在稳定性方面,支持实例自动Rebalance,避免单机负载过高;在运维方面,支持实例配置运维中心,实例流量智能监控及预警。”

机器学习在数据库运维上的应用

传统数据库运维方式具有许多局限性,被动优化(监控/报警/慢SQL/应用报错等);耗时耗力且低效,较难形成闭环;受限于人的局限性,复杂场景缺乏扩展性;决策过程中数据价值缺失,决策标准主观性较大;DBA专家紧缺与数据库服务要求之间的矛盾更加突出等。

如何做到能够让资源精准分配,并做到提前防范?基于机器学习的京东智能运维平台SmartDBS系统在逐步化解这些难题。该系统包含分类、预测、诊断、决策和调度5大模块。分类、预测、诊断的数据最终进入决策模块参与容器资源分配的决策,并推送进入调度实现资源的重新合理分配。

  ▲京东商城开发工程师彭安

彭安表示,“SmartDBS的价值在于专家系统、智能诊断和预测分析三个方面。其中专家决策,降本提效,可免去人员维护的主观性;多维数据建模分析全面诊断数据库;单指标特征预测多模型数据校验分析。”

便利蜂数据库运维自动化从0到1演进之路

便利峰数据库管理平台包含备份系统、慢查询系统、在线变更系统、在线查询系统、MySQL高可用系统等。其中包含需求申请、SQL操作、集群管理、容量管理、日志查询、慢查询管理、服务治理、数据库管理、备份管理、Redis管理平台、集群监控、OPS管理平台、Beta管理、平台周报等功能。

  ▲便利蜂DBA陈海峰

关于便利峰SQL变更系统的发展历程,陈海峰透露主要有“萌芽期、突破期和迭代期”三个阶段,“首先,我们做的工作主要是流程规范、备份监控、慢查询系统。然后,SQL变更、SQL查询、数据库高可用的研发;从18年10月份至今,我们开始部署扩容集群,进行服务治理和容量管理。”

数据库运维自动化来源于工作中的痛点,而这种压力推动了技术的不断变革。通过上述五位行业专家的分享,我们可以从更多角度来思考数据库的智能运维。未来,将是自动化和智能化数据库运维的时代。

Image placeholder
Yuqiushi
未设置
  31人点赞

没有讨论,发表一下自己的看法吧

推荐文章
DTCC2019 :“数据架构设计实践专场”等您来!

  2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京新云南大酒店召开。本次大会将以“数据风云,十年变迁”为主题,邀请百

Oracle ADW业务数据平台点亮DTCC2019数据库技术大会!

数字大脑、互联网+、智能+、人工智能、边缘计算……信息技术领域好像从不缺少概念,但无论世界如何变化,数据是一切业务的核心。要想有效管理、分析和挖掘数据带来的价值,数据库一定是必需品。2019年5月8日

大咖齐聚DTCC2019,共论云数据库前景

2019年5月8日,由IT168旗下ITPUB企业社区平台主办的第十届数据库技术大会(DTCC2019),在北京新云南皇冠酒店正式开场。本届大会以“数据风云十年变迁”为主题,百余位行业专家就热点技术话

(PPT 下载,来了!)DTCC2019 中国数据库技术大会见证实录

2019年5月8日-10日,DTCC2019第十届中国数据库技术大会历时3天,圆满收官。作为国内顶级的数据领域技术盛会,共有23个技术场次,邀请超过125名专家,包括来自阿里、京东、苏宁、滴滴出行、百

DTCC2019数据库技术评选结果全面揭晓,四大类别奖项新鲜出炉!

数据风云,十年变迁,而DTCC是一切变革的见证者。作为数据库领域顶尖级的盛会,DTCC已经成功举办了九届,今年是第十届。继承往届会议规模大、涉及话题更前沿、演讲内容更深入等特点之外,DTCC2019数

DTCC2019 爱奇艺实时数据传输服务

数据库间实时数据传输服务可简化业务系统的数据架构,使其专注于业务开发。DBIO是爱奇艺研发的数据库间实时数据传输服务,用于同异构数据库间实时复制与数据变更捕获,是业务系统数据共享的核心通道。作者:郭磊

美团下一代服务治理系统 OCTO2.0 的探索与实践

本文根据美团基础架构部服务治理团队工程师郭继东在2019QCon(全球软件开发大会)上的演讲内容整理而成,主要阐述美团大规模治理体系结合ServiceMesh演进的探索实践,希望对从事此领域的同学有所

DTCC2019:陌陌直播推荐的0到1

作为社交+直播行业的领军者,陌陌直播依托于开放式社交平台所承担的职责不同于社交和短视频推荐,需要在内容分发、社交匹配和营收目标上进行综合考虑。如何进行多目标分发的问题抽象和预估建模,以及针对业务的独特

数据库运维迈向智能运维新时代

【ITPUB专访】“美创的数据库运维团队在业内属于运维技术的风向标,很可能是最大的oracle运维团队,随着国产化替代的进程,但我们也在积极储备各种国产数据库、开源数据库技术人才,中国数据库市场未来百

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

准独角兽雷鸟科技出席SACC2019,讲述AI在场景互联网下的创新革命

10月31日至11月2日,由IT168旗下ITPUB企业社区平台主办的第十一届中国系统架构师大会(SACC2019)在北京召开。作为国内最具价值的技术交流盛会,也少不了今年热门的智慧大屏话题。据了解,

来SACC2019共论“数字转型 架构演进”之道

2019已经过半,第十一届中国系统架构师大会SACC2019的脚步也越来越近了,十年来中国系统架构师大会SACC一直紧跟系统架构关键技术热点,成为架构师、CTO、CIO以及各研发人员学习交流的前沿阵地

SACC 2019:达梦数据库推进实践与思考

2019年10月31日~11月2日,由IT168旗下ITPUB企业社区平台主办的第十一届中国系统架构师大会(SACC2019)在北京成功召开。本届大会继续沿用四大主线并行的演讲模式,设置业务系统架构设

面向DevOps的企业自动化运维体系如何构建?

随着软件交付速度的加快,过去那种研发、测试、部署和运维各自为政的模式,已经无法满足用户需求。越来越多的企业希望通过更高效、更敏捷的方式,快速交付和部署相关应用。所以,DevOps顺势而生!那么,什么是

网络工程师眼中的自动化运维

本文从一名网工从业者的角度出发,探讨了在企业网运维过程中,网络工程师可以用什么样的工具让网络更加透明高效。上篇文章回顾:ApacheRanger——HadoopACL控制工具引言“网络就像wifi,没

2019年度IT168技术卓越奖名单:数据库类

岁末年关,一年一度的IT168技术卓越奖评选如约而至。在数据智能时代,数据是生产资料是富含价值的新石油,海量数据的并发以及实时性要求,对于向下攫取硬件性能向上承载应用的数据库而言是挑战更是机遇,国内数

2019年度IT168技术卓越奖名单:数据中心类

光阴如梭,一年的工作转瞬又将成为历史,2019年即将过去,崭新的2020年即将来临。新的一年意味着新的起点新的机遇新的挑战,众多企业“决心再接再厉,更上一层楼”,努力打开新局面。作为读者们的老朋友,2

DTCC | 云数据库时代已来,你准备好了吗?

作为基础软件之一,数据库一直是企业IT系统的核心,过去数十年,数据库技术发展缓慢。而随着云计算的到来及相关技术的不断成熟推动了数据库行业的快速发展,传统数据库铁打的防线也正在被撕裂。截至目前,全球主流

首日精彩 DTCC大会见证数据库领域十年变迁!

【ITPUB独家报道】2019年5月8日-10日,第十届中国数据库技术大会(DTCC2019)在北京新云南皇冠假日酒店隆重召开。作为国内顶级的数据领域技术盛会,本次大会以“数据风云十年变迁”为主

DTCC观察:华为云数据库的优势积累与技术选择

摘要:作为公有云市场的重磅参与者,华为云数据库相比竞争对手有哪些优势?这可能是很多不了解华为云数据库人的第一反应。华为云数据库产品架构如何布局?作为第一个基于MySQL8.0开发的云原生分布式数据库,

嗨!你的 2019 晒好封存了吗?快来看程序老兵的 2019 吧!

时间过得真是太快快快了,2019还剩下最后几个小时了。回望即将过去的这一年,老兵哥做了不少事情,有计划内的,也有计划外的,当然还有不少事情没做。赶在最后时刻晒一晒我的2019年,希望从成绩荣誉中获得一

SACC 2019:云闪付APP架构优化实践之路

中国银联科技事业部架构师 程朝程朝2011年加入中国银联,拥有三年应用开发设计经验,三年MySQL与Redis内核开发设计经验,三年应用架构设计经验;擅长分布式系统设计,有丰富的系统设计与调优经验,现

盘点2018:数据库领域关键词“自研” ”融合“ ”崛起“

尽管2019年已然开始,但只要农历春节还没过,就意味着2018年还没有真正结束。回望过去一年,数据库领域发生了哪些有代表性的事件?这些事件背后预示哪些趋势?尽管2019年已然开始,但只要农历春节还没过

腾讯数据库专家雷海林分享智能运维架构

2019年5月8日-10日的DTCC2019年中国数据库大会上,腾讯云数据库专家工程师雷海林首受邀做了主题为《TDSQL智能运维平台-扁鹊架构与实践》的技术分享,以下为大会现场演讲实录。雷海林在大会现