| Table of Contents |
|---|
| Warning |
|---|
MapReduce Job을 보다 편하게 실행하기 위한 방법이지 필수는 아닙니다. |
개요
MapReduce Job을 실행하는 Driver가 많은 경우 실행시 Package 명 + Class 명을 모두 넣어야 하는 불편함을 해결하기 위해서 간단하게 Alias 만으로 Driver를 지정할 수 있도록 하는 Hadoop 에서 제공하는 Driver입니다.
...
| Code Block | ||||
|---|---|---|---|---|
| ||||
# mvn package ... # cd target # hadoop jar mapreduce.jar ... 설명이 나옴 # hadoop jar mapreduce.jar union -input hdfs://192.1.1.1:8020/input -output hdfs://192.1.1.1./output |
예제
본 예제의 코드는 https://github.com/DataDynamics/template-mapreduce/blob/master/src/main/java/com/yourcompany/hadoop/mapreduce/MapReduceDriver.java 에서 확인할 수 있습니다.
평가
- Program Driver의 개념이 이해되었는지 확인하기
- 기존에 작성했던 MapReduce Driver를 Program Driver에 등록하기
- Maven Build시 JAR 플러그인에 Program Driver 지정하기
- Program Driver를 이용하여 MapReduce Job 실행하기
...