OCI Data Integration 소개 - Data 통합을 위한 서버리스 ETL 서비스

기업내 시스템 들은 정보계, 기간계, 계정계, 대외계 등 다양한 목적으로 분류 되어 사용됩니다.

저장되는 데이터의 유형에 따라 데이터 베이스 성격도 달라져서 시스템 최적화를 위해서도 비슷한 유형으로 분리하여 구성됩니다. 이렇게 다양하게 나눠진 데이터베이스 시스템 간의 데이터의 통합은 비즈니스 상 반드시 복제/통합 등의 요건이 발생하게 됩니다.

오라클 클라우드에서는 Oracle Database의 데이터의 통합을 위한 두가지 대표적인 Cloud Native Service를 제공합니다. 

• OCI GoldenGate Service
• OCI Data Integration Service 

참고 :  Oracle Cloud의 Modern Data Platform Architecture

OCI GoldenGate는 실시간 데이터 동기화를 위한 서비스로 Data Replication, Data Pipeline, Stream Analytics 기능을 제공하며 OCI Data Integration은 오라클 클라우드에서 데이터의 추출, 변환, 로드 기능을 제공하는 클라우드 네이티브 서버리스 ETL 서비스 입니다.

 

이번 Post에서는 OCI Data Integration에 대한 소개를 드리도록 하겠습니다.

 

ETL (Extract, Transform, Load)이란
추출, 변환, 로드(ETL)는 데이터 기반 조직이 여러 소스에서 데이터를 수집한 후 검색, 보고, 분석, 의사 결정을 지원하기 위해 가져오는 데 사용하는 프로세스입니다.

ETL이란 무엇인가?

다양한 ETL 서비스들이 있지만 OCI Data Integration의 특별한 장점은 다음의 세가지를 꼽을 수 있을 것 같습니다. 

1. Data Flow 구축을 위한 그래픽 editor를 제공합니다. 이를 통해 개발자나 사용자가 코드없이 쉽게 Data Flow를 설계하고 유지 관리를 할 수 있습니다.
2. 분산 데이터 처리를 위한 Spark base로 구성되어 있으며 DBMS 엔진의 E-LT 처리를 위한 push-down 최적화 되어 최고의 성능을 제공합니다. 
3. 광범위한 connectivity를 제공하여 public, Private access는 물론 on-prem 시스템과도 연계되며 Oracle cloud의 다양한 데이터베이스에 최적화 되어 있습니다.

OCI Data Integration는 Workspace를 생성하여 데이터 통합 작업 영역을 나누어 구성할 수 있습니다. 각 Workspace는 Data Assets, Projects, Applications 으로 구성됩니다.

• Data Asset은 데이터 소스를 설정하거나 Data Integration에서 사용될 connection을 설정합니다.
• Projects는 Data loader, Data Flow 등 Task를 설계, 구성하는 영역입니다. 
• Application은 Projects에서 만들어진 Task를 pubulish 하여 만들어진 실행 가능한 Task 들의 모음 입니다.   

사용자는 OCI Data Integration에서 Data Asset을 통해 Source/Target 시스템에 대한 connection을 구성하고 생성된 Data Asset을 이용하여 다양한 Task를 생성하게 됩니다. 생성된 Task는 publish 과정을 통해 실행 가능한 형태로 제공되고 publish 된 Task는 사용자의 요구에 따라 혹은 schedule을 통해 실행 되게 됩니다. 

 

Data Integration의 Task는 크게 다음의 형태로 구성될 수 있습니다. 

• Data Loader Task는 단일/여러 테이블 데이터를 1:1로 추출, 적재 수행합니다.
• Data Flow Task는 Source의 데이터를 Filter, Join, Expression, Aggregate operator를 이용하여 Target 시스템에 변형하여 적재를 수행합니다. 
• Scheduled Task는 작성된 Task를 publish 한 이후 특정 schedule을 지정하여 주기적으로 수행할 수 있는 Task 입니다.
• Data Pipeline Task는 publish 된 Task를 서로 연결한 Task의 흐름으로 구성된 Task 집합 입니다. 

참고 : Data Loader Task 구성 화면

 

참고 :  Data Flow Task 구성 화면

 

 

참고 :  Data Pipeline Task 구성화면

 

 

참고 :  Scheduled Task 구성 화면

 

이번 Post는 Oracle Data Integration의 개략적인 소개에 대해 작성하였습니다.

다음엔 간단한 시나리오를 통해 OCI Data Integration 구성을 하는 방법을 작성하도록 하겠습니다. 

 

참고로 OCI Data Integration 관련하여 참고하실 만한 내용 공유 드립니다. 

 

Cloud Infrastructure Data Integration

 

OCI Data Integration

 

감사합니다. 

 

작성자: 조용훈  
개인 시간을 투자하여 작성된 글로서, 글의 내용에 오류가 있을 수 있으며, 글 속의 의견은 개인적인 의견입니다.