You are viewing an old version of this page. View the current version.

Compare with Current View Page History

« Previous Version 2 Next »

YARN VCore 및 Memory 설정

YARN VCore 및 Memory 설정의미
yarn.scheduler.minimum-allocation-mb
컨테이너에 할당할 수 있는 Memory의 최소 크기
yarn.scheduler.maximum-allocation-mb
컨테이너에 할당할 수 있는 Memory의 최대 크기
yarn.scheduler.minimum-allocation-vcores
각 Node Manager가 컨테이너에 할당할 수 있는 최소 VCore 개수
yarn.scheduler.maximum-allocation-vcores
각 Node Manager가 컨테이너에 할당할 수 있는 최대 VCore 개수
yarn.nodemanager.resource.cpuvcores
컨테이너의 VCore 개수
yarn.nodemanager.resource.memorymb
컨테이너의 메모리
yarn.app.mapreduce.am.resource.cpuvcores
Application Master의 VCore 개수
yarn.app.mapreduce.am.resource.mb 
Application Master의 Memory
mapreduce.map.cpu.vcores 
Map Task의 CPU VCore 개수
mapreduce.map.memory.mb 
Map Task의 Memory
mapreduce.reduce.cpu.vcores 
Reduce Task의 CPU VCore 개수
mapreduce.reduce.memory.mb 
Reduce Task의 Memory
mapreduce.task.io.sort.mb 
I/O Sort Memory

Spark의 캐쉬 지우기

메소드의미
DataFrame.unpersist()
각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거
RDD.unpersist()
각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거
SqlContext.clearCache()
모든 캐쉬 테이블 제거
  • No labels