最流行的十大开源云监控工具

Linux系统在企业中的应用程度已经非常广泛,人们听到过太多关于Docker和Kubernetes的消息,以至于忘记了监控和日志记录也是同样重要的任务。Docker持续发展,随之而来的是围绕它构建的服务生态系统的成长。虽然部署系统主要涉及在系统内运行单个应用程序或服务,但随着部署规模越来越大,不仅仅是在操作系统或应用程序级别,了解环境状态和运行状况也变得越来越重要。

监控和测试工具分为实时数据库、数据采集工具、可视化工具、意见反馈工具、日志记录器等等。在过去的几年里,开源产品和商业监控应用程序发生了爆炸式增长,下面是其中10个最受欢迎的开源云监控工具。

Prometheus

Prometheus是一个开源云监控解决方案,它可以处理时间序列监控等问题。它是CNCF支持的9个项目之一,也是继Kubernetes之后由CNCF主办的第二个项目。因为谷歌、CoreOS、RedHat、IBM等厂商的支持,使得Prometheus成为监控云应用程序的首选。Prometheus最初是由音乐网站SoundCloud开发的,现在已经成为Docker生态系统中不可或缺的方案CoreOS团队也在积极使用Prometheus来改进Kubernetes的性能。

Prometheus已经发展成为一种先进的系统警报和监视工具包,能够监视包括系统、Hadoop集群、语言运行,以及Python、Go等应用程序堆栈。很多人将它与Graphite(见下文)进行比较。简而言之,Prometheus是一个开源监控系统、时间序列数据库和实现代码的框架。 但是Prometheus不会生成指标,企业必须让它能够通过http以一种能够理解的语言使指标可用。

Graphite

Graphite是一种流行的开源工具,可以构建基于web的用于监视和分析的仪表板。它最初是由Orbitz的Chris Davis在十多年前创建和设计,用于监视和绘制计算机系统的性能。目前被许多大型企业如GitHub、Salesforce和Reddit等用于企业系统。虽然Graphite不能收集指标或与指标收集器捆绑在一起,但要找到一个通用指标收集器来将指标提供给Graphite并不难。Graphite由三部分组成:监听时间序列数据的Carbon,简单数据库Whisper(类似于RRDtool)以及名为Graphite-web的webapp,它可根据需要呈现图表。Graphite在企业中仍然非常流行,其中一个原因可能是自动化水平较高,Graphite中所有新数据点都在数据库中自动创建。

由于围绕生态系统开发了太多工具,开源工具的目前状态并不明朗。因为像Graphite这样的工具既可以独立运行,也可以与其他工具集成。

  应用监控工具

 Riemann

您可以使用Graphite webapp来绘制图表,但是如果您想使用另一个工具呢?尽管Carbon会监听指标并将其写入存储数据库,但它确实在规模方面有短板,许多用户喜欢用Riemann代替它。 然而,Riemann并不是一个度量收集器,而是一个流处理器。 Riemann用于聚合和处理事件流,同时还添加了警报功能。作为流处理系统,它可用于将事件提供给Prometheus数据库。 Riemann在Clojure开发人员中特别受欢迎,因为它的配置文件实际上是可以高度定制和构建的Clojure代码。 Riemann主要通过从事件流(如度量标准、日志、事件、主机和服务)收集数据,然后根据需要存储、图表或警报来工作。

Elasticsearch

Elasticsearch是ELK堆栈的一部分,它还具有Kibana、Beats和Logstash功能。虽然ELK堆栈被设计成一个集成的解决方案,但是Elasticsearch经常被用作支持工具,并且其补充功能非常强大。Elasticsearch是能够通过广泛而复杂的API访问的搜索引擎,该API支持快速搜索,以支持数据发现应用程序。它几乎兼容所有数据,并与其他查询数据库的工具广泛集成。

Kibana

Kibana是一个分析和可视化平台,它建立在Elasticsearch的基础上,让人可以直观地浏览弹性堆栈。由于Kibana只是堆栈的可视化部分,所以它经常被替换为Grafana、Graphite或其他可视化工具。

Logstash

Logstash是另一个与Riemann类似的流处理系统,可以从日志、指标、web应用程序、数据存储和各种AWS服务中摄取流数据。Logstash还有一个输出插件,企业可以通过它向Riemann发送特定的事件,比如可警报的事件或需要Riemann操作的事件。同时它也是受欢迎的独立工具,经常与其他工具一起使用。

将这些工具结合起来使用看起来就像是晚间肥皂剧一样复杂,表面上看他们好像是其他工具的替代品,但实际上这些工具都是交叉兼容的,可以协作处理很多问题。

Grafana

Grafana是一个开源的、功能丰富的度量仪表板和图形编辑器,用于Graphite、ElasticSearch、OpenTSDB、Prometheus和流数据库。Grafana允许用户轻松创建和编辑仪表板,同时允许查询和可视化指标,无论数据存储在哪里。Grafana同时支持高质量的交互式和可视化图表,这使它变得非常受欢迎。

  Grafana

Kafka

Kafka是另一个有趣的流处理系统,它的流是无限制的、不断更新的数据集。虽然它最初是由LinkedIn开发来作为一个可扩展的公共子消息传递系统,但是现在它已经发展成为实时数据管道、分布式和复制日志分析器以及统一的数据集成堆栈。Kafka通常安装在每个需要在其他地方生成或转发数据的主机上,这些主机的集合形成一个Kafka集群。

FluentD

FluentD这是CNCF主持的另一个项目,是用C语言编写的。FluentD是一个开源的解决方案,旨在统一数据收集和使用。它声称“快速启动”菜单可以使用户实时拥有超过125种系统类型的“log-everything”体系结构。该声明得到了CNCF的支持,而FluentD的最大用户目前从50,000多台服务器收集信息。

Weave Scope

Weave Scope的功能包括监视、可视化、管理和故障排除。它还可以自动创建应用程序的“地图”,而不需要任何编码或设置。这允许您在系统级别监视和控制堆栈,并实时查看系统正在执行的操作以及原因。通过零配置和对所有进程、系统和主机的自动检测,Weave Scope可以检查速度框,可以大幅度节省开发人员的时间。

随着越来越多的开源监控工具被开发来用于更具体的工作,没有一款工具的地位是完全稳固的。每一款都有可能被其他更高效、更安全的工具所替代。但就目前而言,以上这些开源监控工具在每个DevOps团队的监控工具中占据着重要位置。

Image placeholder
Starrier
未设置
  35人点赞

没有讨论,发表一下自己的看法吧

推荐文章
最流行的 Go Web 框架: GitHub Star 数量排行(2019)

搜索到了这个资源,可以一目了然地看到GitHub上GoWeb框架受欢迎程度,分享给大家。项目名称 GitHubStar数 创建年份 gin 33177 2014 beego 22599 2012 ir

基于时序数据库做监控,这里有超流行的开源方案

在微服务架构下,我们对服务进行了拆分,所以用户的每次请求不再是由某一个服务独立完成了,而是变成了多个服务一起配合完成。这种情况下,一旦请求出现异常,我们必须得知道是在哪个服务环节出了故障,就需要对每一

硬核盘点,华为面向开发者的十大技术

随着社会的发展,科技的进步,5G落地、AI爆发、大数据持续突破、云计算已然成为新时代的水电煤。日益增多的新兴技术,为开发者带来机遇的同时也带来了不少挑战。尽管开发者们经常身处历史性事件的前沿,但由于

2019年流行的6大顶级DevOps工具

DevOps作为对开发和运维人员都极为重要的系统,有望在2019年甚至更长时间内保持稳定增长。事实上,据IDC预测,到2022年,全球DevOps软件市场将达到80亿美元,比2017年的39亿美元有所

程序员常用的十款开发工具推荐

工欲善其事必先利其器。对于程序员来讲,好用的开发工具可以大大提高开发效率。本文将向大家推荐程序员常用的十款开发工具,希望能帮助大家更加优雅地写出代码。这些工具分别是Arthas、ChaosBlade、

日志监控实践 – 监控Agent集成Lua引擎实现多维度日志采集

作者简介:董涵   百度资深研发工程师负责百度智能运维(Noah)服务管理和分布式监控架构研发工作,在分布式系统和大规模数据处理、可用性工程方向有广泛的实践经验。干货概览对于互联网行业来说,最有价值的

我的十年程序生涯:建模启航

我是一个有魄力的人!我是一个有魄力的人!请大家记住这句话,只有记住这句话,你才能明白我这十年间的选择。十年前我还是象牙塔中数学系的一名普通的大三学生。六年前我包里揣着3000块钱来北漂。三年前我在一家

淘宝从几百到千万级并发的十四次架构演进之路!

作者:huashiou来源:https://segmentfault.com/a/11900000186261631.概述本文以淘宝为例,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时

Gartner:2020年十大战略技术趋势

技术变革的步伐正在迅速加快,IT专业人员需要研究的因素,他们以前从未处理过的事情(例如超级自动化、多重体验和人员扩充)都将对企业产生重大的影响。Gartner高级研究副总裁ValSribar说:“自从

马云入选“全球十大思想者”,排名在贝索斯之前

大数据文摘出品消息来源:央视新闻、澎湃新闻、中国日报网1月21日,据央视新闻报道,美国《外交政策》杂志评选出了全球十大思想者榜单,阿里巴巴创始人马云成为唯一获选的中国企业家,排名第三,位列企业家之首。

Gartner发布:十大无线技术发展趋势

Wi-Fi将在未来五年内继续主导这个行业,因为它成为中央对新兴技术,包括机器人、无人机、自动驾驶汽车和新的医疗设备等项目的核心。在Gartner最新发布的2019年及以后的十大无线技术趋势中显示,Wi

公布!达摩院2020年十大科技趋势

刚刚,“达摩院2020十大科技趋势”正式发布!去年,我们预测的科技趋势正一一变为现实:AI芯片崛起、智能城市诞生、5G催生全新应用场景……科技新十年开启,AI、芯片、云计算、区块链、工业互联网、量子计

2019十大内容安全事件盘点

2019年,不良违规内容泛滥已成为全球互联网生态治理难题,社会聚焦、监管行动使得内容安全也成为互联网企业发展生命线,受到管理层的重点关注。这一年,内容安全事件频繁爆雷,据不完全统计,就有超过一千家互联

用原生 JavaScript 实现十大 jQuery 函数

在本文中我将把自己最常用的jQuery函数转换为原生JavaScript。有时我需要创建一个简单的静态HTML或登录页面,而且不想引入任何库或其它依赖。对这种情况,我只使用普通的JavaScript来

开源监控系统Prometheus的前世今生

Prometheus是SoundCloud公司开源的监控系统,同时也是继Kubernetes之后,第二个加入CNCF的项目。Prometheus是一个优秀的监控系统,沃趣围绕着Prometheus先后

2019年8月数据库流行度排行:双星闪耀 MySQL 成月度最大赢家

炎炎夏日,DB-Engines的8月榜单已经发布,本月积分MySQL获得了最显著的增长,较上月增加了24分,Oracle获得了18分的增长,Oracle公司的两个王牌产品,闪耀8月。以下是前10名的榜

2019年9月数据库流行度排行:MySQL 强劲增长完成深 V 反转

导读:DB-Engines的2019年9月数据库流行度排行榜已经发布,本月最耀眼的明星是MySQL,分值大幅增长25.39分,较年初已经上升了125分,增幅达10%,完成了一次深V反转。相较之下,Or

“加班文化”到底是如何流行起来的

        说起互联网行业,大家最先想到的都是弹性工作制度,薪资诱人,夜宵福利,晚上报销打车费这些标签,但是作为一个扎根互联网行业的资深战士。我只想告诉大家,这些福利,都是在为互联网行业的陋习:“

2019年7月数据库流行度排行:Oracle王者归来获大幅增长

2019已然走过一半,DB-Engines的数据库流行度排行榜7月出炉,这可以算是数据库流行度的半年报了。7月的明星产品是Oracle,其积分大幅增长了22分,较去年同期增长了43分,这说明Oracl

方舟编译器开源,华为自家开源平台面世!(附编译过程)

大数据文摘出品作者:曹培信8月9日,华为EMUI官方微博发了这么一条微博。对奉行实用至上的程序员来说,Linux的创始人LinusTorvalds的名言“Talkischeap,showmetheco

爽到飞起!微软命令行工具发布!引诱开发者叛逃Mac,开源六小时冲上GitHub第二

晓查栗子乾明发自凹非寺转自量子位 |公众号QbitAIWoW!Awesome!MyGod!这是不少抱着Mac参加微软Build大会的开发者,看到命令行工具WindowsTerminal后的第一反应。随

从理论到案例,请收下这篇 Nginx 监控运维干货

Nginx(“enginex”)是一个开源、免费、高性能的HTTP和反向代理服务器,也可以用于IMAP/POP3代理服务器。充分利用Nginx的特性,可以有效解决流量高并发请求、cc攻击等问题。本文

在云、AI时代,传统应用性能监控方案过时了吗?

近年来,企业云对IT复杂性产生巨大影响,越来越多的企业需要能够解决云复杂性上升或加速数字化转型的有效方案,而人工智能正在成为解决这些问题的不二之选。在全球智能运维浪潮下,不少公司都选择重写代码,颠覆自

Spring Boot到底是怎么运行的,你知道吗?

导读SpringBoot方式的项目开发已经逐步成为Java应用开发领域的主流框架,它不仅可以方便地创建生产级的Spring应用程序,还能轻松地通过一些注解配置与目前比较流行的微服务框架SpringCl

Kubernetes监控在小米的落地

本文介绍了高可用、持久存储、可动态调整的Kubernetes监控方案的实现过程。小米的弹性调度平台(Ocean)以及容器平台主要基于开源容器自动化管理平台kubernetes(简称k8s)来提供服务,