| Table of Contents |
|---|
YARN VCore 및 Memory 설정
| YARN VCore 및 Memory 설정 | 의미 |
|---|---|
yarn.scheduler.minimum-allocation-mb | 컨테이너에 할당할 수 있는 Memory의 최소 크기 |
yarn.scheduler.maximum-allocation-mb | 컨테이너에 할당할 수 있는 Memory의 최대 크기 |
yarn.scheduler.minimum-allocation-vcores | 각 Node Manager가 컨테이너에 할당할 수 있는 최소 |
| VCore 개수 | |
yarn.scheduler.maximum-allocation-vcores | 각 Node Manager가 컨테이너에 할당할 수 있는 |
| 최대 VCore 개수 | |
yarn.nodemanager.resource.cpuvcores | 컨테이너의 VCore 개수 |
yarn.nodemanager.resource.memorymb | 컨테이너의 메모리 |
yarn.app.mapreduce.am.resource.cpuvcores | Application Master의 VCore 개수 |
yarn.app.mapreduce.am.resource.mb | Application Master의 Memory |
mapreduce.map.cpu.vcores | Map Task의 CPU VCore 개수 |
mapreduce.map.memory.mb | Map Task의 Memory |
mapreduce.reduce.cpu.vcores | Reduce Task의 CPU VCore 개수 |
mapreduce.reduce.memory.mb | Reduce Task의 Memory |
mapreduce.task.io.sort.mb | I/O Sort Memory |
Spark의 캐쉬 지우기
| 메소드 | 의미 |
|---|---|
DataFrame.unpersist() | 각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거 |
RDD.unpersist() | 각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거 |
SqlContext.clearCache() | 모든 캐쉬 테이블 제거 |