Page History

개요

MapReduce Job을 실행하는 Driver가 많은 경우 실행시 Package 명 + Class 명을 모두 넣어야 하는 불편함을 해결하기 위해서 간단하게 Alias 만으로 Driver를 지정할 수 있도록 하는 Hadoop 에서 제공하는 Driver입니다.

...

<plugin>
    <groupId>org.apache.maven.plugins</groupId>
    <artifactId>maven-jar-plugin</artifactId>
    <configuration>
        <archive>
            <manifest>
                <mainClass>com.yourcompany.hadoop.mapreduce.MapReduceDriver</mainClass>
            </manifest>
        </archive>
    </configuration>
</plugin>

이제 Maven으로 빌드후 다음과 같이 실행합니다.

# mvn package
...
# cd target
# hadoop jar mapreduce.jar
... 설명이 나옴
# hadoop jar mapreduce.jar union -input hdfs://192.1.1.1:8020/input -output hdfs://192.1.1.1./output

예제

본 예제의 코드는 https://github.com/DataDynamics/template-mapreduce/blob/master/src/main/java/com/yourcompany/hadoop/mapreduce/MapReduceDriver.java 에서 확인할 수 있습니다.

평가

•  Program Driver의 개념이 이해되었는지 확인하기
•  기존에 작성했던 MapReduce Driver를 Program Driver에 등록하기
•  Maven Build시 JAR 플러그인에 Program Driver 지정하기
•  Program Driver를 이용하여 MapReduce Job 실행하기