You are viewing an old version of this page. View the current version.

Compare with Current View Page History

Version 1 Next »

YARN VCore 및 Memory 설정

YARN VCore 및 Memory 설정의미
yarn.scheduler.minimum-allocation-mb
컨테이너에 할당할 수 있는 Memory의 최소 크기
yarn.scheduler.maximum-allocation-mb
컨테이너에 할당할 수 있는 Memory의 최대 크기
yarn.scheduler.minimum-allocation-vcores
각 Node Manager가 컨테이너에 할당할 수 있는 최소 코어 개수
yarn.scheduler.maximum-allocation-vcores
각 Node Manager가 컨테이너에 할당할 수 있는 최대코어 개수

Spark의 캐쉬 지우기

메소드의미
DataFrame.unpersist()
각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거
RDD.unpersist()
각 노드의 캐쉬 사용을 모니터링하고 오래된 데이터를 LRU에 따라서 제거
SqlContext.clearCache()
모든 캐쉬 테이블 제거
  • No labels