菜单 学习猿地 - LMONKEY

VIP

开通学习猿地VIP

尊享10项VIP特权 持续新增

知识通关挑战

打卡带练!告别无效练习

接私单赚外块

VIP优先接,累计金额超百万

学习猿地私房课免费学

大厂实战课仅对VIP开放

你的一对一导师

每月可免费咨询大牛30次

领取更多软件工程师实用特权

入驻
145
0

Hadoop03

原创
05/13 14:22
阅读数 73459

http://192.168.1.200:50070/dfshealth.jsp

http://192.168.1.200:50030/jobtracker.jsp

 

Hadoop启动完成之后,查看任务执行情况.

 

Apache Hadoop YARN(Yet Another Resource Negotiator,另一种资源协调者)是一种新的Hadoop资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处.

 

HDFS设计基础与目标

  1. 硬件错误是常态,因此需要冗余。冗余的概念是融合在HDFS的基因中的.
  2. 流式数据访问.即数据批量读取而非随机读写,Hadoop擅长做的是数据分析而不是事务处理。
  3. 大规模数据集
  4. 简单一致性模型。为了降低系统复杂度,对文件采用一次性写多次读的逻辑设计.即文件一经写入,关闭,就再也不能修改;
  5. 程序采用"数据就近"原则分配节点执行.

HDFS体系结构

  1. NameNode
  2. DataNode
  3. 事务日志
  4. 映像文件
  5. SecondaryNameNode

官方帮助文档

淘宝数据魔方

相关热门文章

发表评论

0/200
145 点赞
0 评论
收藏