写速度提升20%,Elasticsearch 创始人给腾讯云发感谢信

近日,Elasticsearch 的创始人兼首席执行官Shay Banon 向腾讯云发出了一封感谢信,专程对腾讯团队为Elasticsearch开源社区做出的贡献表示了感谢。

据了解,腾讯工程师通过提交代码,成功优化了Elasticsearch高并发写入性能,实现将1000万数据量的写入时长从原来的18分钟缩减至15分钟,速率提升20%,并在Elasticsearch开源社区分享了项目方案。

Shay Banon 在发给腾讯副总裁、腾讯云总裁邱跃鹏的感谢信中表示:

“我们最近对Elasticsearch进行了重大而巧妙的改进,这是由腾讯的一位开发者提出的。这种改进使Elasticsearch的某些类型的写速度提高了约20%,我们非常期待后续与腾讯云继续保持这种良好的合作关系。”

事实上,在今年5月的腾讯全球数字生态大会上,腾讯云与Elastic签署了战略合作协议。双方同意在产品、技术、生态三个维度展开合作,依托Elastic在搜索软件领域的产品和技术优势,以及腾讯云在云计算大数据领域的技术能力和市场资源,双方联合推出具备高级商业特性的腾讯云Elasticsearch Service ,该版本上线了集群权限管理、SQL、机器学习、图查询等高级功能。并结合腾讯云全球领先的公有云架构,实现Elasticsearch集群应用的低成本、易开发、易管理、高可用、高安全性。

据了解,此次源码优化的契机,源自腾讯内部一站式智能化的大数据服务平台全民BI的真实业务场景,其中,全民BI的统计功能,在底层使用了Elasticsearch的开源代码。在实际使用中,因为存在历史数据比对的需求,需要每天全量导入新的数据。数十亿级的数据量,超过500个标签,需要尽可能的快速的导入到ES系统中,但这一块经过多次的参数优化,依然需要几个小时才能完成导入,是整个系统的一大瓶颈。

在此背景下,腾讯全民BI团队开始着手优化Elasticsearch高并发场景下的写入性能。项目团队通过分析ES的写入机制,在多次堆栈分析取样中,发现较多线程因writeLock被rollGeneration占用,在获取锁的等待上耗时偏长。因而将优化的着力点,从参数的调优转移至线程的优化。项目团队最终在实验理论值的基础上,通过优化rollGeneration,实现将1000万数据量的写入时长从原来的18分钟缩减至15分钟,速率提升20%。

“非常感谢Elastic公司创始人之一和技术负责人Simon Willnauer的支持和建议,本次优化大幅度提升全民BI系统的数据分析效率,接下来,这些领先的特性都能够在腾讯云Elasticsearch Service上获取。” 主要负责人表示。

值得注意的是,这次社区代码贡献并不是腾讯的个别案例。从2010年开始,腾讯就开始通过“三步走”的开源计划,积极推动代码开放和社区参与,从封闭孤立向协同开放和社区开放治理的纵深方向发展。

Image placeholder
墨鱼
未设置
  80人点赞

没有讨论,发表一下自己的看法吧

推荐文章
OceanBase数据库创始人阳振坤分享征战6088万tpmC的艰辛之路

前言:中国人民大学常被誉为是“中国人文社会科学的最高学府”,其实人民大学也是“中国数据库的发源地”。由中国人民大学教授萨师煊与王珊合作编写的《数据库系统概论》是国内第一部系统阐明数据库原理、技术和理论

谷歌两位创始人双双“退位”,皮猜升职Alphabet帝国CEO独揽大权

大数据文摘出品两位创始人双双“退位”,Alphabet刚刚赢来了新阶段。美国时间周二12月3日下午,谷歌联合创始人拉里·佩奇(LarryPage)和谢尔盖·布林(SergeyBrin)宣布辞职,从即日

大神程序员,夜夜coding到天明?Python之父昼伏夜出,PHP创始人24小时都在线

栗子鱼羊 发自凹非寺转自量子位 |公众号QbitAI大神程序员,夜夜coding到天明?有位名叫IvanBessarabov(简称“伊万”)的好事者,刚刚统计了各路大佬的代码提交(gitcommit)

YC中国创始人陆奇:人工智能时代,芯片和底层软件基本都要重做

大数据文摘出品作者:陆奇编辑:周素云2019年5月18日,在YC中国举办的YC中国创业者见面会上,YC中国创始人及首席执行官,YC全球研究院院长陆奇进行了以“技术驱动创新带来的创业机遇”为主题的精彩分

树莓派 4 正式发布!硬件性能大提升:CPU提升3倍,支持USB3.0、蓝牙5.0、千兆以太网、4G LPDDR4、H.265

本文转自|EETOP树莓派(RaspberryPi)基金会,6月24日正式发布了RaspberryPi4ModelB。树莓派是全球知名的基本计算微型电脑,深受全球开发者、编程者、极客等人士的追捧和喜爱

腾讯万亿级 Elasticsearch 技术解密

作者: johngqjiang,腾讯TEG云架构平台部研发工程师Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多

对话蒋杰、丁奇,腾讯云数据库之路

此前,笔者曾经就腾讯云数据库战略升级一事写过一篇文章,对腾讯云数据库聚焦“云原生”“自治”“超融合”三大方向背后原因,以及怎样理解腾讯云数据库战略升级与五大新品、三大方向的关系进行了分析。近日,在腾讯

如何理解腾讯云数据库战略升级?

近日,腾讯云数据库在京正式启动战略升级,宣布未来将聚焦云原生、自治、超融合三大战略方向,以用户为中心,联接未来。并在现场面向全球用户同步发布五大战略级新品,包括数据库智能管家DBbrain、云数据库T

专访腾讯云数据库负责人丁奇:打造超越用户想象的产品

“就市场份额来说,腾讯云在国内还不是第一名,但从国内上云企业比例看,剩余的还有很多,因此,大家都还有机会,就看谁能真正解决用户的痛点。”                                

腾讯云游戏行业整体解决方案

点击观看大咖分享随着游戏行业的迅猛发展,游戏行业竞争日益加剧,好的用户体验度和快速反应能力成为游戏网站发展的关键。游戏行业整体解决方案将能够为游戏厂商提供优质全面便捷的服务。腾讯云结合自身在云计算业务

互联网是如何把“原始人”逼成“机器人”

【导读】互联网快速发展的这十多年,我们见证了企业软件架构的多次迭代和演变。初期阶段都使用JSP+Servlet,工程师感觉代码直接写在jsp页面上不优雅,也不方便调试。后续发展为JSP+Javabea

如何看待阿里云发布POLARDB Box数据库一体机

9月26日,2019杭州云栖大会上,阿里云宣布正式推出高性能数据库一体机POLARDBBox,这是业内首次推出基于云原生数据库的一体机。“POLARDBBox是一款跨时代的产品,打破了云数据库的服务边

累足成步 华为云发布鲲鹏云服务加速企业创新升级

2019年1月,华为推出业界最高性能的基于鲲鹏架构的7nm服务器处理器——鲲鹏920。时隔半年,基于鲲鹏处理器,华为云正式推出首批四款鲲鹏云服务和解决方案,开启云上的多元新架构。Cloud2.0时代,

Elasticsearch 7.2 在 Laravel 中实践 --经纬度及距离查询

上一篇文档中选择的扩展,该扩展已有方法whereGeoDistance查询指定经纬度范围内的数据,但是无法根据距离排序,由于依赖于laravel-scout,而该扩展并没有实现Geo的sort,但是经

Lumen日志接入 Elasticsearch

日志分析系统的安装请看部署章节,安装elasticsearch组件composerrequireelasticsearch/elasticsearch修改config/logging.php添加一个e

ElasticSearch 亿级数据检索案例实战

一、前言数据平台已迭代三个版本,刚开始遇到很多常见的难题,终于有时间整理一些已完善的文档了,在此分享一下。希望能帮助大家少走些弯路,在此篇幅中偏重于ES的优化。关于HBase,Hadoop的设计优化估

Elasticsearch 亿级数据检索性能优化案例实战!

一、前言数据平台已迭代三个版本,从头开始遇到很多常见的难题,终于有片段时间整理一些已完善的文档,在此分享以供所需朋友实现参考,少走些弯路,在此篇幅中偏重于ES的优化,关于HBase,Hadoop的设计

PB级数据实时查询,滴滴Elasticsearch多集群架构实践

Elasticsearch是基于Lucene实现的分布式搜索引擎,提供了海量数据实时检索和分析能力。Elastic 公司开源的一系列产品组成的ElasticStack,可以为日志服务、搜索引擎、系统监

Elasticsearch 数据写入原理分析

前言最近TL分享了下《Elasticsearch基础整理》https://www.jianshu.com/p/e82…,蹭着这个机会。写个小文巩固下,本文主要讲ES->Lucene的底层结构,然后详细

27 亿电子邮件地址外泄!ElasticSearch数据库再次中招

数据泄露事件近年来时有发生,哪怕是大体量的Facebook也未能幸免。可以说数据泄露无论是对用户还是对企业来讲都造成了一定的损失和影响。针对频频发生的数据泄露事件,不少企业都加大网络安全建设力度,也起

Elasticsearch 与传统关系型数据库的对比、倒排索引原理解析

Elasticsearch和传统关系型数据库的对比Elasticsearch中的概念与关系型数据库对比 RelationalDB Databases Tables Rows Columns 关系

Elasticsearch分词器介绍、内置分词器及配置中文分词器

1、分词器、分词器是从一串文本中切分一个个的词条,并对每个词条进行标准化,包含三个部分: characterfilter:分词之前的预处理,过滤掉HTML标签、特殊符号转换(例如,将&符号转换成and

Elasticsearch的sql化使用

Elasticsearch-sql的安装、使用本文以Elasticsearch-5.1.2为例elasticsearch-sql下载地址:https://github.com/NLPchina/e..

Elasticsearch5.0 安装问题集锦

Elasticsearch5.0安装问题集锦elasticsearch5.0安装过程中遇到了一些问题,通过查找资料几乎都解决掉了,这里简单记录一下,供以后查阅参考,也希望可以帮助遇到同样问题的你。问题

Elasticsearch负载均衡节点

Elasticsearch负载均衡节点elasticSearch的配置文件中有2个参数:node.master和node.data。这两个参数搭配使用时,能够帮助提供服务器性能。组合一:该node服务