Hardware

Namenode

  • Namenode에는 HDFS의 metadata가 저장되어 있으므로 RAID10으로 묶는 것을 권장하나
  • JBOD(Just Bunch Of Disk) 형태로 구성해도 무방함

Datanode

  • Data Locality 및 I/O Throughput을 위해서 JBOD 방식으로 구성함

JBOD로 HDFS를 구성하기 위해서 다음과 같이 개별 HDD를 각각 마운팅함.

mkdir -p /mnt/hdfs/{1..4}
vim /etc/fstab # append the new disks 
/dev/sdb1 /mnt/hdfs/1 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sdc1 /mnt/hdfs/2 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sdd1 /mnt/hdfs/3 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0 
/dev/sde1 /mnt/hdfs/4 ext4 inode_readahead_blks=128,commit=30,data=writeback,noatime,nodiratime,nodev,nobarrier 0 0
 
mount /mnt/hdfs/1
mount /mnt/hdfs/2
mount /mnt/hdfs/3
mount /mnt/hdfs/4

하둡 설정 파일인 hdfs-site.xml 파일에는 다음과 같이 설정함

hdfs-site.xml 파일
<configuration>
    <property>
        <name>dfs.name.dir</name>
        <value>/mnt/hdfs/1/namenode,/mnt/hdfs/2/namenode,/mnt/hdfs/3/namenode,/mnt/hdfs/4/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/mnt/hdfs/1/datanode,/mnt/hdfs/2/datanode,/mnt/hdfs/3/datanode,/mnt/hdfs/4/datanode</value>
    </property>
</configuration>

HDFS(Hadoop Distributed File System)



DellEMC Isilon

Dell EMC Isilon F800 All-Flash NAS Storage

  • 고성능 Scale Out NAS
  • 다양한 프로토콜을 지원(S3, HDFS, FTP, HTTP 등)
    • 다양한 프로토콜을 지원하여 Isilon의 파일 시스템을 OneFS 라고 부름
  • 삼성반도체는 F800(SSD), H500(SATA)을 사용함
  • Hadoop의 Datanode 처럼 Unix OS가 탑재된 서버에 스토리지가 붙어 있는 형태
  • 네트웍 연결만 되면 어떤 서버에서든 다양한 프토토콜로 파일을 저장 및 가져갈 수 있음
  • Computing 전용 Hadoop Cluster를 구성(HDFS가 있기는 하나 용량이 매우 작고, HDFS는 Hadoop Cluster 동작에 필수)하고, Isilon에 HDFS 프로토콜로 접근하여 처리
    • 단, 이 경우 Data Locality를 지원하지 않음
  • 1Peta Bytes당 10억
  • Hadoop의 경우 Namenode는 2대지만, Isilon의 경우 모든 노드가 Namenode 이면서 Datanode로 동작

참고

1 Comment

  1. Edward

    Dec 23, 2020

    Rack Awareness를 HDP에서 설정하려면 다음과 같이..