반응형 iceberg2 기업 내부 프로젝트의 오픈소스화 사례 by gpt Kubernetes (Google)개발 배경 및 목적Kubernetes(쿠버네티스)는 Google이 내부에서 오랫동안 운용해온 컨테이너 관리 시스템 경험을 바탕으로 탄생한 오픈소스 프로젝트이다. 2000년대 초반부터 Google은 Borg라는 클러스터 관리 시스템을 운영하여 수십만 개의 작업을 대규모 클러스터에서 스케줄링해왔으며 (The Evolution of Kubernetes: From Borg to K8s and How it Became the Standard for Container Orchestration | by Roman Glushach | Medium), 이러한 경험을 외부 클라우드 생태계에 활용하고자 했다. 2014년 Google 엔지니어 Joe Beda, Brendan Burns, Cr.. 2025. 3. 21. Apache Amoro(Lakehouse Management System) Iceberg Data cleaning 기능 간단 분석 Lakehouse Management System인 Apache Amoro(이하 아모로)의 기능 중에 Data Cleaning 동작 방식을 간단하게 분석해 보았다.(** 혹시나 내용에 틀린 부분이 있다면 편히 댓글로 알려주시면 감사하겠습니다)아모로는 말그대로 데이터레이크를 관리해주는 시스템인데 특히 Iceberg를 대상으로 하고 있다. 자체적으로 Mixed format 등을 지원하고 있지만 여기서 필자인 경우 Iceberg 포맷만을 대상으로 아모로가 Data Cleaning(데이터 정리)를 어떻게 해주고 있는지. 그리고 어떤 설정을 해야 의도대로 동작하는지를 정리해 본다. Iceberg와 Amoro의 공식 설정 정보 Configuration - Apache Iceberg™Configuration Tabl.. 2025. 3. 15. 이전 1 다음 반응형
