Log in
Open Cloud Engine
Spaces
Hit enter to search
Help
Online Help
Keyboard Shortcuts
Feed Builder
What’s new
About Confluence
Log in
Apache Impala
Edit space details
Page tree
Browse pages
Configure
Space tools
A
t
tachments (1)
Page History
Page Information
Resolved comments
View in Hierarchy
View Source
Export to PDF
Export to Word
Pages
Apache Impala
Jira links
HDFS 테이블의 빈번한 INSERT 이슈
Created by
Edward
, last updated on
Oct 21, 2024
1 minute read
구분
세부 내용
발생 시점
HDFS 기반 테이블에 Impala에서 INSERT 쿼리 대량 실행시 성능 저하
발생시 결과
급격한 성능 저하
조치 방법
Kudu 기반 또는 RDBMS 기반으로 변경
참고 URL
https://impala.apache.org/docs/build/html/topics/impala_perf_cookbook.html
https://docs.cloudera.com/documentation/enterprise/latest/topics/impala_file_formats.html#file_formats
https://community.cloudera.com/t5/Support-Questions/Insert-into-works-very-slow-in-Impala/td-p/91666
기술적 배경
HDFS는 대용량 데이터를 빠르게 읽고 대용량을 저장하는데 적합
Hadoop EcoSystem에서는 RDBMS 처럼 빠른 분석 및 업데이트가 필요로 하는 기능이 매우 부족 → Kudu가 이 역할을 담당
No labels
Overview
Content Tools
{"serverDuration": 682, "requestCorrelationId": "8182243765317d42"}