海量数据时代,金融行业数据库实践难题如何解决?

随着数字经济时代的到来,大数据、人工智能技术得到了快速发展与应用,可以说,各行各业都已全情投入到这一波数字化转型浪潮中,把握新的发展机遇,获取数字红利。其中,金融行业可以说是走在转型之路最前沿的行业之一。

通过加强数字化基础能力建设,不断推动业务运营模式转型、业务流程的再造升级,融合大数据分析、AI技术实现业务创新,以智能化方式提供更佳的客户体验——金融行业的数字化转型成果已经相对成熟,而且效果显著。

但当大数据应用细分到技术、架构、业务的每一个层面时,我们也可以看到,金融机构/企业的IT部门在整个项目流程中仍面临着许多挑战。作为数据的主要载体,数据库常常被称作整个IT系统的命脉。在大数据浪潮下,数据库也遇到了新的难题。

在第十届中国数据库技术大会(DTCC2019)期间,星环科技资深架构师庞博进行了《分布式闪存数据库与图数据库的金融行业应用实践》主题演讲,从金融行业对数据库产品的应用诉求出发,对这两类数据库的应用进行了深入分享。之后,笔者有幸采访到了庞博老师本人,针对金融行业数据库应用话题展开了进一步探讨。

庞博老师目前在星环负责大数据架构和解决方案的设计规划工作,曾帮助多家大型金融机构构建大数据与人工智能体系化建设。此前曾就职于 Oracle 研究开发中心,负责 RAC、ASM 等数据库底层分布式技术的研究与开发工作。

星环科技资深架构师庞博

分布式闪存数据库ArgoDB:高效闪存、一站式满足各种诉求

分布式闪存数据库ArgoDB是星环着眼于目前的硬件发展趋势,全新推出的一款数据库产品。庞博表示,随着闪存以及固态硬盘的成本越来越低,预计在未来的三到五年,这种新的硬件会逐步替代目前的机械硬盘。而软件的设计需要充分考虑硬件的特性,因此星环利用闪存的高吞吐特性,为金融行业打造了这款高性能的分布式闪存数据库产品。

那么,ArgoDB可以解决企业面临的哪些问题呢?据庞博介绍,随着金融企业业务量越来越多,以及线上产品增多,业务对数据获取和分析的性能及时效性要求也越来越高。“这个时候,我们的科技人员往往会应接不暇,大量的工作都要花费在报表加工或者数据加工中。因此,星环希望通过这种分布式闪存数据库,能够给业务提供灵活、自助的数据探索与分析能力,彻底的去解放我们的科技人员。”庞博说道。

除此之外,我们可以看到,目前部分企业采用Hadoop+MPP架构混搭的形式,多种数据库穿插使用,这种情况下开发、运维的成本都是非常高的。ArgoDB分布式闪存数据库可以一站式满足企业对大数据平台的各种诉求,包括离线批处理数据仓库、实时数据分析平台、OLAP数据库等等,以此降低金融客户的使用成本,实现大数据平台的高效利用。

分布式闪存数据库的主要应用场景有两个:第一个是即席查询,也就是根据业务需求灵活选择查询条件,通过编写SQL进行数据探索,发现数据之间的规律,让业务分析师能够借此寻找到新的价值,应用到业务中。第二个是自助分析,业务人员可以结合BI工具自助地获取数据信息,进行表达多表关联,从而获取数据洞察。

分布式图数据库StellarDB:克服海量关联图数据存储难题

图数据库与传统的关系型数据库有非常大的区别,在传统的关系型数据库中,对这种关联关系的发现,通常需要对表进行JOIN的操作。但现在大部分金融机构如银行中,包括客户表、交易表、以及账户表等等,数据量是非常大的,当要进行这种大表的关联时,在传统关系型数据库下效率是非常非常低的。而图数据库则是针对这种关联关系的探索场景而设计的,有非常好的查询及分析性能。

“目前一些开源的图数据库产品对海量数据的支持度不是很好,在点和边规模很大的情况下,一些图算法是无法计算出来。星环结合了自身擅长的分布式技术以及自研的算法,打造了一款分布式的图数据库StellarDB,有非常好的扩展性和易用性,整体提升了图分析性能,让金融企业能够运用在更多的场景下。”庞博介绍道。

如今,越来越多的金融应用场景会使用到图数据库。尤其是近年来热度较高的知识图谱,它通常需要一个强大的图数据库作为底层支撑。除此之外,在图数据库营销层面上也有广泛应用,如对营销关系的相互关联、发现更多营销可能性、增加客群,以及反欺诈、反洗钱等等。

庞博表示:“星环是希望通过我们自身在分布式上面的研究提升图数据库对海量数据的支持;同时结合我们在反洗钱、反欺诈及营销方面的业务经验积累,自研的分布式的图算法让我们的金融客户可以直接运用到业务流程中实现业务价值,整体降低图数据库的使用成本。”

大数据时代下的数据库:实时、灵活、智能

在技术的不断更新与迭代之下,整个IT世界都处于快速变化的状态。企业IT环境越来越复杂,业务运行不断提出更高的需求,在这样一种态势下,准确把握数据库技术的未来发展趋势是非常重要的,对于IT系统的升级也有指导性意义。

对于大数据时代下数据库行业的发展趋势,庞博老师也给出了自己的分享,他说道:“随着技术的发展,人们使用、操作金融产品的方式肯定会随之改变。比如,我们预计未来大多数金融产品的操作可能都在移动设备上。而且随着移动技术的发展,比如5G技术的引入,我们肯定会面临非常庞大的数据量增长。应对这么大的数据量,以及时效性和智能的需求,我觉得未来,数据库肯定会朝着实时化、灵活化以及智能化的这个方向去发展,以便适应新时代的发展趋势。”

最后,作为DTCC 2019的演讲嘉宾,庞博分享了自己参加本届大会的感受。通过参与多个主题的聆听,庞博表示:“各位技术大拿分享的主题都是非常有料的,而且非常有趣。整体的组织方式也是以主题分享、培训以及行业的应用分享三个方式去提高,我觉得这种方式让我们在其中有非常好的感受,也了解到了非常丰富的、各个行业的知识。非常感激组委会的邀请,(我)有幸能参与这本次会议。”


了解DTCC 2019更多资讯,请关注第十届中国数据库技术大会专题报道 。

Image placeholder
wuzhenhuai
未设置
  53人点赞

没有讨论,发表一下自己的看法吧

推荐文章
海量数据时代,磁带存储的“涅槃重生”

   磁带作为大规模非结构化数据的战略性/低成本存储手段,已然经历了一次复兴。由于磁带在快速恢复网站和反勒索软件方面具有较高的价值,所以备份仍然是它的一个主要用例。不过,磁带的未来增长机会更在于一些新

金融行业微服务架构解析

转载本文需注明出处:微信公众号EAWorld,违者必究。引言:对于微服务,每个人都有自己的理解,与互联网企业的大量落地相比,微服务在传统金融行业还没有普及,这首先是传统金融行业线上系统需求更新和版本迭

做银行家里的数据专家:ING探索大数据时代下的金融最佳实践

大数据文摘出品记者:高延6月18-21日,O’ReillyAIConference在北京召开。大会上,来自荷兰的金融公司ING的IT主管BasGeerdink带来了《关于数字驱动企业》的主题分享。进入

大数据时代,数据湖并不能完全取代数据仓库

数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口,为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。尽管出现了基于Hadoop和其他一些大数据技术的数据湖

亿级海量数据的实时读写和复杂查询实践

摘要:本文分享了每日亿级增量数据的实时读写、复杂查询场景实践介绍,涉及MySQL分表分库策略、数据异构、TiDB使用和优化、微服务架构等内容。  作者:黄哲铿  黄哲铿,中通商业CTO,前1号店技术总

海量数据AtlasDB:把“数据库好用”这件事做到极致

导语:坚守初心、不辱使命,近期海量数据研发的企业级数据库AtlasDB获得了市场的普遍关注。这款以“好用”著称的国产数据库产品,不仅承载着海量数据公司对技术创新的坚持和投入,更凝结着一群拥有“工匠之心

面试高频:如何访问 Redis 中的海量数据?

目录前言事故产生分析原因解决方案总结前言有时候我们需要知道线上的redis的使用情况,尤其需要知道一些前缀的key值,那我们怎么去查看呢事故产生因为我们的用户token缓存是采用了【user_toke

区块链仍处于婴儿期,金融业是应用最多的两个领域之一

如果问你2018年什么技术比较火,答案中一定会有区块链。从春节“3点钟无眠区块链”的狂欢开始,伴随着过山车一般的币价逐渐走向沉寂,链圈、矿圈、币圈的鄙视链似乎也不再那么重要。10月24日下午过后,在国

核心业务“瘦身”进行时!手把手带你搭建海量数据实时处理架构

01背景 在线交易服务平台目的是减轻核心系统计算压力和核心性能负荷压力,通过该平台可以将核心系统的交易数据实时捕获、实时计算加工、计算结果保存于SequoiaDB中。并能实时的为用户提供在线交易查询服

医疗行业数据安全的主要风险和应对分析

作者:柳遵梁依据Verizon数据泄露报告中对客观现状、数据分布和数据流动等方面综合分析,医疗行业数据安全的主要风险包括如下几个方面:  一、人的安全风险和对策  1.人的安全风险是医疗数据安全的最大

中信银行信用卡业务数据库实现国产替换,湖北银行新核心系统项目正式验收,阿里云与MongoDB达成战略合作

中信银行信用卡业务数据库实现国产替换10月31日,由IT168旗下ChinaUnix社区主办的第十一届中国系统架构师大会(SACC2019)在北京召开。会上,中信银行软件开发中心/技术平台开发处副处长

在云、AI时代,传统应用性能监控方案过时了吗?

近年来,企业云对IT复杂性产生巨大影响,越来越多的企业需要能够解决云复杂性上升或加速数字化转型的有效方案,而人工智能正在成为解决这些问题的不二之选。在全球智能运维浪潮下,不少公司都选择重写代码,颠覆自

腾讯汤道生:产业互联网时代,安全成为CEO的一把手工程

产业互联网日益成为众多行业实现转型,获得发展新动能的趋势性选择,政务、金融、医疗、出行、教育、零售、工业等垂直领域,正在全面拥抱产业互联网。网络安全作为互联网的基础保障,在产业互联网发展和企业数字化升

云原生时代,分布式系统设计必备知识图谱(内含22个知识点)

作者|杨泽强(竹涧)阿里云技术专家我们身处于一个充斥着分布式系统解决方案的计算机时代,无论是支付宝、微信这样顶级流量产品、还是区块链、IOT等热门概念、抑或如火如荼的容器生态技术如Kubernetes

YC中国创始人陆奇:人工智能时代,芯片和底层软件基本都要重做

大数据文摘出品作者:陆奇编辑:周素云2019年5月18日,在YC中国举办的YC中国创业者见面会上,YC中国创始人及首席执行官,YC全球研究院院长陆奇进行了以“技术驱动创新带来的创业机遇”为主题的精彩分

分布式存储时代,横空出世的OceanBase

数据,被誉为新时代的石油。几乎任何一个企业的IT管理者,都会在演讲、采访或其他形式的交流分享中强调数据的重要性。获取洞察、行为预测、市场分析、业务转型升级……数据能够为企业带来巨大的商业价值。但与此同

5G芯片进入三国杀时代,未来谁主沉浮?

手机芯片的江湖从来都是腥风血雨。进入5G时代,江湖再掀波澜,一场5G芯片之争风云再起。这次谁胜谁负?谁将问鼎?从五强争霸到三足鼎立,江湖格局渐明手机芯片一般指SoC芯片,它将基带芯片和CPU、GPU等

兴业数金云数据库应用与实践

摘要:本文主要介绍兴业数金云数据库设计、优化、及运维实践,如何利用云数据库为企业创建核心价值,如何在云时代面对海量MySQL、Oracle、Informix服务的运维挑战。作者:林春编辑:张晓艺林春,

天翼云视频云储存解决方案,高效解决云储存难题

随着科技发展,视频监控迈向深度智能时代,前端摄像机开始内置深度学习算法,可以对人脸、车辆等关键信息进行快速定位抓拍,有效解决漏抓误报问题,解决了传统智能视频分析技术人工选择特征准确率低、浅层学习模型无

重兵投入行业市场,新华三开启信息安全行业元年

4月19日-20日,为期两天的2019领航者峰会在重庆举行,本届峰会主题为“数字领航·智绘未来”。通过本届大会,新华三都向大家传达了哪些信息?关于信息安全新华三又有着哪些新的动作?在数字化时代,一个企

新数据时代下,变革中的浪潮存储

在物理世界与数字世界之间的连通不断扩大、商业形态不断变化的今天,云、大数据、AI、物联网等技术的广泛应用,加速了整个产业向数字化、智能化的转型升级。在这样的时代背景下,合理地存储、使用与管理数据,释放

HPE收购MapR,以Hadoop供应商为首的大数据时代落幕

Hadoop三驾马车之一的MapR陷入困境后终于有了着落,今年5月底MapR宣布由于“业绩极差”将被迫关闭公司,MapR给自己设定寻找资金的最后期限是7月3日,一个月后MapR被HPE收购。8月5日,

分层存储超详细解读,为什么大数据时代它已不可或缺

如今,分层存储已成为了一种常见的存储方法,它将数据存储在具有不同特性(如性能、成本和容量)的不同存储介质上。不同的存储媒介被分配到不同的层次结构中,其中最高性能的存储媒介被认为是第0层或第1层,然后是

包银消费CTO汤向军:消费金融大数据风控架构与实践

01风险在哪里1.1 信用风险根据银行业的风险理论,信用风险是指借款人因各种原因未能及时、足额偿还债权人或银行贷款而违约的可能性。信用风险的风控重点在于,甄别客户违约的原因究竟是还款能力,还是还款意愿