Data Platform

데이터를 모으는 일부터
쓰이는 형태로 내보내는 일까지

수집기 따로, 스케줄러 따로, 웨어하우스 따로, API 서버 따로 두지 않는다. 원천 등록부터 파이프라인, 마트, 엔드포인트 발행까지 한 층 위에서 굴러간다.

Flow

다섯 단계가 끊기지 않는다

단계마다 도구를 갈아타면 그 사이가 사각지대가 된다. 한 흐름으로 두면 어디서 끊겼는지가 바로 보인다.

Features

어디서 들어오는 데이터인지 한 곳에서 안다.

DB · API · 파일 · 스트림을 커넥터로 등록하고 스키마와 갱신 주기를 원천 단위로 관리한다. 원천이 바뀌면 어떤 파이프라인이 깨지는지 등록 시점에 드러난다.

수집과 가공을 흐름으로 본다.

원천에서 마트까지의 변환을 DAG 로 정의하고 스케줄 · 재시도 · 백필을 붙인다. 실패한 지점과 그 아래로 번진 범위를 같은 화면에서 확인한다.

쓰는 사람 기준으로 잘라 둔다.

팀 · 용도별 마트를 정의하고 갱신 주기와 품질 기준을 함께 건다. 지표 정의를 마트 안에 두어 부서마다 숫자가 달라지는 일을 막는다.

만든 데이터를 쓸 수 있게 내보낸다.

마트를 그대로 REST 엔드포인트로 노출하고 인증 · 쿼터 · 버전을 게이트웨이에서 건다. 검색용 엔드포인트도 같은 경로 위에 올라간다.

Structure

원본을 지우지 않고 쌓아 두면 해석이 틀렸을 때 되돌아갈 곳이 남는다. 정제와 가공은 그 위에 얹는다. 아래층을 건너뛴 숫자는 나중에 반드시 대가를 치른다.

검색이나 문맥 조회처럼 모델이 끼는 작업도 결국 이 층 구조 위에서 돈다. 저장소를 하나 더 두는 대신 마트 옆에 둔다.

지금 쓰는 원천을 그대로 등록하는 것부터 시작하면 된다.