穿过大数据迷雾 星环科技六载航行

数据是国家基础性战略资源,是21世纪的“钻石矿”与“新石油”,是几乎所有企业的必争之地,大数据的发展使越来越多的企业看到数据的价值。

然而中国企业数据底子薄弱,基础软件发展落后,需要更多的企业和人才去建设,星环科技是众多投身其中的公司之一,从最初的Hadoop到自主研发,六载路不寻常。如今在Hadoop的头部玩家遇到瓶颈被外界唱衰之际,其研发总监刘汪根直言“Hadoop的瓶颈不能代表整个大数据产业。”

从Hadoop到自主创新

2013年国内大数据元年,不少大数据创业公司开始入局。星环科技也在同年起航,其研发团队是国内Hadoop早期布道者,2011年在中国率先推出Hadoop发行版。随着Hadoop三驾马车Cloudera、Hortonworks 和 MapR的发展,Hadoop几乎成为大数据的代名词。

大数据时代涌现了众多创业公司,有的定位在偏底层,有的定位在上层应用。星环科技创始人&CEO孙元浩早年间参加DTCC接受采访时说过“我们定位是大数据平台,是做基础软件的。为什么要做基础软件?因为我们看到一个明显的技术演进趋势,从单机计算,多核计算到分布式计算,这个趋势是技术的潮流,是一次至下而上的架构革命,这种机会可能10年或者20年才能碰到一次,而这一领域正是我们擅长的,所以我们准备投入到这个领域。”

不过Hadoop等开源组件在性能和稳定性方面先天不足,产品化较弱,一开始星环科技推出了基于Hadoop和Spark的分布式内存分析引擎和实时在线大规模计算分析平台TranswarpDataHub(TDH)。对开源组件进行优化和升级,以满足国内中大型企业的需求。

随着不断实践,开源技术的一些局限性渐渐显露。星环科技一边在Hadoop层继续保持与社区同步,一边对核心数据库产品进行重构。对于技术型公司而言,如何应对日新月异的技术变革也是不小的挑战。当容器技术、微服务、AI等新技术如潮水般涌来,星环科技都踩对了节拍。比如,期间拥抱Kubernetes和Docker发力容器,2017年把公司内部人工智能的相关业务剥离出来变成了独立产品,2018年推出了新一代智能大数据云平台Transwarp Data Cloud ( TDC )。

经过多年自主研发,星环科技建立了多个产品系列:基于容器的智能大数据云平台Transwarp Data Cloud ( TDC )、一站式大数据平台Transwarp Data Hub ( TDH )、智子人工智能平台Transwarp Sophon和超融合大数据一体机TxData Appliance、数据库等,并拥有多项专利技术。目前为止,星环科技在依托自主研发的多项技术下已在金融、交通、能源、等多个行业应用。

六年的时间,星环科技从最初的10人到现在的600多人,收获了客户和资本的认可,并赢得巨头的青睐,2017年获得腾讯领投的C轮融资,今年2月获得数亿元D1轮融资,成立至今累计获得6轮融资。

而当星环科技在业内一路狂奔期间,市场对大数据市场出现了唱衰之声。

Hadoop的瓶颈不代表大数据产业

技术的发展似乎总会经历一个唱衰期,当年风头无俩的Hadoop三驾马车都遇到了瓶颈,Cloudera与Hortonworks在2018年合并,近一年的市值也是跌跌不休,而MapR也爆出因经营问题今年7月将裁员的困境,很多诸如“Hadoop已死”、“大数据骗局”的声音在市场出现。

“Hadoop的瓶颈不能代表整个大数据产业。”在日前星环科技百城巡展首站北京站上,星环科技研发总监刘汪根对笔者表示,他认为Hadoop三驾马车的瓶颈更多是其商业模式的问题,开源技术的产品化不足,三家公司过度依赖技术服务支持拖累了发展,并不是Hadoop技术的问题,实际上Hadoop核心组件基本成为大数据技术的标配。

根据赛迪顾问研究,中国大数据产业2018年整体规模达到4384.5亿元,预计到2021年将达到8070.6亿元。

而早期大数据的代表“Hadoop”跌落神坛,更多新的大数据技术和企业不断涌现发展。根据Gartner技术成熟度曲线,这是一个新技术的必经之路,理性看待才是长久发展之道。

有创业者认为国内大数据底子的建设是一个长期过程,可能需要30年。具体的时间见仁见智,但是对于“长期”应该没有什么异议,罗马非一天建成,不能一蹴而就。

尤其是星环科技所服务的中大型企业,有IT积淀也意味着有历史的包袱。天翼云市场部总经理杨居正曾经指出大企业有自己的IT能力,有自己的管理流程和部门的一些相应的考虑和想法,执行力包括上云的能力很强,但是有可能需要掉头,需要一个调整的过程。

另一方面大数据的“退烧”与AI的发展也有一定关系,企业与社会在向着智能时代演进,智能化是一个系统的工程,数据化是其中一个重要的环节,单点的技术突破很难再支撑起对未来的美好想象。

AI、大数据、云计算三者融合越来越深,而技术已经渗透到业务的各个环节,企业的数字化转型进入了新的阶段,深藏着新的机遇与挑战。

走在大数据3.0时代

星环科技认为现在已经到了大数据3.0时代,主要体现在构建数据交换与共享体系、融合大数据与AI能力、提供数据资产与服务层、支持多租户能力,以云化模式为主。

在星环科技TDH、Transwarp Sophon、TDC三个主要产品系列中,TDH是其发家产品,去年5月,TDH通过了全球最知名的数据管理系统评测基准标准化组织TPC-DS测试,而TDC是面向未来基于容器的综合性大数据云平台,星环科技称之为数据云,其理念是以数据为核心,应用为数据服务。

如前文所述中大型企业数字化转型需要一个过程,TDH、Transwarp Sophon、TDC三个产品系列可以满足企业不同阶段的需求。刘汪根介绍企业使用TDH、Transwarp Sophon在业务系统产生了价值,会需要建立一个统一的大数据平台,将更多的业务打通,这是TDC最大的价值体现。

在技术上有自主可控能力的星环科技更加懂得扬长避短,加大了产品化能力。基于容器的TDC平台被寄予厚望,现在进入了云原生时代,容器成为应用的主要载体,需要更敏捷的开发响应快速变化的前端业务。根据IDC FutureScapes预测“到2023年,传统用用程序现代化进程的加速和全新的开放将促使30%的生产应用为原生应用-利用微服务、容器和动态编排。”

不过很多时候变革也在技术之外,“现在是由新业务需求驱动IT变革,团队开发思维、管理思维也要转变,甚至有的时候涉及到组织架构。”刘汪根认为。而在大数据3.0时代也需要多方协作,星环科技建立了星环大学、星瀚大数据联合实验室推进产学研用深度融合,未来也将帮助更多头部客户打造行业云和解决方案。

“我们做的是底层核心技术的开发工作,在常人看来是比较枯燥乏味的,但是我们并不觉得。当我们开发的工具被别人用了,创造出价值的时候,我们真的非常开心。”在日前央视播出的纪录片《大数据时代》中孙元浩如是说。

显然星环科技已经为大数据3.0时代做好了准备,但是在客户至上的时代,数字化变革太快,任何一种技术都不可能青春太久。技术之外公司的融资节奏、组织架构和企业文化也很重要。在这个充满机遇的时代,我们期待处在快速发展期的星环科技带来更多的惊喜。

Image placeholder
lsj321
未设置
  72人点赞

没有讨论,发表一下自己的看法吧

推荐文章
星环科技宣布完成约5亿元D2轮融资

10月24日消息,大数据与人工智能基础软件厂商星环科技今日宣布,完成D2轮融资,融资金额约5亿元人民币。参与本轮投资的包括知名投资机构金石投资、中金资本、渤海中盛和国家级的产业投资基金。这距星环科技D

穿过AI、BI、ML等技术术语迷雾,企业数字化路上需要什么?

未来是智能化时代,AI、大数据、BI等技术的发展将推动企业升级变革。而技术的应用实践需要一个过程,伴随着拥护与质疑、成功与失败。一些失败与反思今年9月份,在莫斯科举办了一场不同以往的大会,与会者专门讨

大数据时代,数据湖并不能完全取代数据仓库

数据仓库为组织了解其历史业务表现和推动持续运营提供了一个接入窗口,为数据分析师和业务用户提供了诸如客户行为、业务趋势、运营效率和销售等方面的信息。尽管出现了基于Hadoop和其他一些大数据技术的数据湖

从关系型数据库到分布式机器学习,揭秘腾讯大数据十年发展历程

大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今,大数据技术逐渐成熟,涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来,大数据技

大数据是个技术,数据库才是它最好的产品形态

星环科技(以下简称:星环)的定位是大数据基础软件公司,而非数据库公司,却在数据库方面,做的比很多数据库公司更好更猛?这是为何?“我们认为,大数据是个技术,数据库才是它最好的产品形态”,星环科技研发总监

做银行家里的数据专家:ING探索大数据时代下的金融最佳实践

大数据文摘出品记者:高延6月18-21日,O’ReillyAIConference在北京召开。大会上,来自荷兰的金融公司ING的IT主管BasGeerdink带来了《关于数字驱动企业》的主题分享。进入

包银消费CTO汤向军:消费金融大数据风控架构与实践

01风险在哪里1.1 信用风险根据银行业的风险理论,信用风险是指借款人因各种原因未能及时、足额偿还债权人或银行贷款而违约的可能性。信用风险的风控重点在于,甄别客户违约的原因究竟是还款能力,还是还款意愿

耗时6年生成代码1.6亿行,农业银行大数据平台打造攻略!

摘要: 耗时6年,135个项目,8000页需求,累计投入11000多人月,生成的代码行1.6亿行,支持了8大业务领域,33条业务线,120多个应用场景,这就是中国农业银行大数据平台。近日,中国人民银行

大数据推动教育产业创新发展

《大数据时代》作者维克托•迈尔-舍恩伯格教授著作《与大数据同行:学习和教育的未来》一书指出:当下大数据正悄悄影响到教育体系的每个层面,对于全世界的学习与教育活动,都会产生极为深远的影响。AI辅助教学,

大数据对移动应用开发的影响

大数据如何影响移动应用程序开发?目前,数据量正以前所未有的速度在增长。由于产生的总数据将在几年内跨越泽字节级别,因此更加需要进行大数据高级分析,并从庞大的数据池中获取有价值的信息。数字互联为移动应用开

建立开放的大数据精准扶贫平台,让全社会参与进来!

精准扶贫”的重要思想最早是在2013年11月,习近平主席到湖南湘西考察时首次作出了“实事求是、因地制宜、分类指导、精准扶贫”的重要指示。2015年6月,习近平主席在贵州召开部分省区市党委主要负责同志座

判菜系、调众囗、打分数,这一回,我们用大数据烧菜?

大数据文摘投稿作品作者:blmoistawinde年前,文摘菌曾经扒下了全网所有“年夜饭”菜谱,找到了最有年味的一道菜的一文,对于菜谱数据分析产生了浓厚的兴趣,遂自己也写了个爬虫爬取了某美食网站的一些

1000亿文本信息,高并发MD5查询,这么大数据量的业务怎么弄?

==提问== 沈老师,你好,想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务,(假设)根据身份证MD5查询身份证信息,目前有1000亿条数据,纯文本存储,前几天看你写LevelDB,请

SACC2019:爱奇艺的大数据中台战略(附演讲实录)

  孙斌爱奇艺高级总监主要负责爱奇艺的大数据中台、商业智能、内容智能制作等业务。在互联网产品设计和研发方面有十多年经验,曾就职于微软、hulu、雅虎等公司。摘要:爱奇艺的业务已经从单一的视频业务发展为

税务信息化跨入大数据云计算时代的思考

现状,目前据了解国税总局执行征收管理、行政管理、决策支持和外部信息等四大类应用系统在全国的推广部署,实施大数据开放与共享的建设与开发,已经完成2个国家级税务处理中心的扩容,包括计算存储资源、系统软件及

百分点万亿级大数据平台的建设实践

从互联网、移动互联网到物联网,数据量之巨大已突破想象边界。与此同时,实时数据分析的需求日益增长,那么,当数据量达到亿级、百亿级甚至万亿级规模,实时数据分析如何来做?尤其在ToB/G来说,大多数企业和政

当前政府发展大数据产业思路分享

笔者认为大数据发展大体会经历三个阶段,一、业务的数据化;二、数据的业务化;三、业务的智能化。2018年,各地方政府包括企业通过这几年的大数据建设,基本完成了业务的数据化、和数据开放共享的第一阶段,20

HPE收购MapR,以Hadoop供应商为首的大数据时代落幕

Hadoop三驾马车之一的MapR陷入困境后终于有了着落,今年5月底MapR宣布由于“业绩极差”将被迫关闭公司,MapR给自己设定寻找资金的最后期限是7月3日,一个月后MapR被HPE收购。8月5日,

电信行业如何应对大数据挑战?

根据思科的预测,到2022年,移动数据将达到每月77艾字节。虽然大多数人不会考虑他们每天产生的大量数据,但电信公司对此了如指掌。同时,物联网、智能设备和新内容平台也让电信公司面临着数据冲击。为了将数据

滴滴大数据在汽车金融风控场景中的应用

桔妹导读:滴滴独有的出行场景大数据在金融领域有着非常广泛的应用前景,未来可与银行,保险,支付和理财等机构深入合作,帮助传统金融机构提升资源配置效率,降低获客和风险管理成本。出行场景大数据在交易欺诈识别

大数据如何为影视产业带来颠覆性变化?

电影制作是一个非常复杂的过程,从开始确定成本到制定有针对性的营销活动,涵盖多个流程。在这之中,数据科学几乎可以涉及到每一个步骤,带来创新的改变。而且从另一个角度上讲,从事数据科学工作的专业人员,也可以

分层存储超详细解读,为什么大数据时代它已不可或缺

如今,分层存储已成为了一种常见的存储方法,它将数据存储在具有不同特性(如性能、成本和容量)的不同存储介质上。不同的存储媒介被分配到不同的层次结构中,其中最高性能的存储媒介被认为是第0层或第1层,然后是

人社部大数据应用场景思考

文/涵诚人社部尹蔚民部长在2017年5月全国“互联网+人社”座谈会指出,要充分运用大数据手段,通过“互联网+人社”,实现决策科学、管理精准化、服务人本化,人社的统计数据对于服务决策、研究政策、支撑事业

为什么85%的大数据项目总是失败?

企业在推行大数据项目时往往把项目规模和范围做得很大,但是事实却是,很多大数据项目通常都会失败。2016年,Gartner估算约60%的大数据项目都会失败。一年后,Gartner分析师NickHeude

2019年度IT168技术卓越奖名单:大数据类

随着对数据价值的不断挖掘,以及全球各地区政府的政策支持,大数据市场呈现出一片欣欣向荣的发展态势。IDC在其几个月前发布的报告中曾预测,2019年全球大数据与商业分析解决方案市场的整体收益将达到1896