HDFS

Hardware

Namenode

Namenode에는 HDFS의 metadata가 저장되어 있으므로 RAID10으로 묶는 것을 권장하나
JBOD(Just Bunch Of Disk) 형태로 구성해도 무방함

Datanode

Data Locality 및 I/O Throughput을 위해서 JBOD 방식으로 구성함

JBOD로 HDFS를 구성하기 위해서 다음과 같이 개별 HDD를 각각 마운팅함.

mkdir -p /mnt/hdfs/{1..4}
vim /etc/fstab # append the new disks 
/dev/sdb1 /mnt/hdfs/1 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sdc1 /mnt/hdfs/2 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sdd1 /mnt/hdfs/3 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sde1 /mnt/hdfs/4 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0
 
mount /mnt/hdfs/1
mount /mnt/hdfs/2
mount /mnt/hdfs/3
mount /mnt/hdfs/4

하둡 설정 파일인 hdfs-site.xml 파일에는 다음과 같이 설정함

hdfs-site.xml 파일

<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/mnt/hdfs/1/namenode,/mnt/hdfs/2/namenode,/mnt/hdfs/3/namenode,/mnt/hdfs/4/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/mnt/hdfs/1/datanode,/mnt/hdfs/2/datanode,/mnt/hdfs/3/datanode,/mnt/hdfs/4/datanode</value>
    </property>
</configuration>

HDFS(Hadoop Distributed File System)

DellEMC Isilon

Dell EMC Isilon F800 All-Flash NAS Storage

고성능 Scale Out NAS
다양한 프로토콜을 지원(S3, HDFS, FTP, HTTP 등)
- 다양한 프로토콜을 지원하여 Isilon의 파일 시스템을 OneFS 라고 부름
삼성반도체는 F800(SSD), H500(SATA)을 사용함
Hadoop의 Datanode 처럼 Unix OS가 탑재된 서버에 스토리지가 붙어 있는 형태
네트웍 연결만 되면 어떤 서버에서든 다양한 프토토콜로 파일을 저장 및 가져갈 수 있음
Computing 전용 Hadoop Cluster를 구성(HDFS가 있기는 하나 용량이 매우 작고, HDFS는 Hadoop Cluster 동작에 필수)하고, Isilon에 HDFS 프로토콜로 접근하여 처리
- 단, 이 경우 Data Locality를 지원하지 않음
1Peta Bytes당 10억
Hadoop의 경우 Namenode는 2대지만, Isilon의 경우 모든 노드가 Namenode 이면서 Datanode로 동작

페이지 트리

Hardware

Namenode

Datanode

HDFS(Hadoop Distributed File System)

DellEMC Isilon

참고