基于ZooKeeper搭建Hadoop高可用集群

一、高可用简介

Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解:

Hadoop常用shell命令

1. 显示当前目录结构

1
2
3
4
5
6
# 显示当前目录结构
hadoop fs -ls <path>
# 递归显示当前目录结构
hadoop fs -ls -R <path>
# 显示根目录下内容
hadoop fs -ls /

第六节-Hadoop集群安装

一、集群规划

这里搭建一个 3 节点的 Hadoop 集群,其中三台主机均部署 DataNodeNodeManager 服务,但只有 hadoop001 上部署 NameNodeResourceManager 服务。

img

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×