Data Integration4 OCI Data Integration 활용 - Data Pipeline Task 생성 및 Schedule 지정 이전 Post에서는 Data Loader Task, Data Integration Task를 구성해 보았습니다. 이번 Post에서는 이전에 생성한 Data Loader Task와 Data Integration Task를 이용하여 Data Pipeline Task를 생성하고 schedule을 지정해 보겠습니다. Data Pipeline Task는 Integration Task와는 달리 Data Source와 Target이 없이 이미 생성된 Task 들을 하나의 Pipeline으로 구성된 Task를 의미 합니다. 미리 생성된 Customer Data와 Revenue Data를 Loading 하는 Data Loader Task와 Loading된 Customer Data와 Revenue Data를 Join 하.. 2024. 5. 22. OCI Data Integration 활용 - Data Integration Task 생성 지난번 Post에서는 Oracle Cloud의 Data Integration의 간단한 소개와 Data Loader Task 생성을 알아보았습니다. 이번 Post에서는 Data Integration의 Data Flow를 이용한 Data Integration Task 생성에 대해 알아보도록 하겠습니다. 이번 Data Integration Task 시나리오는 Customer 정보가 저장된 customers.json 파일과 매출 정보인 REVENUE.csv 파일을 이용하여 Flow를 생성하고 이를 이용하여 Integration Task를 생성 합니다. 우선 지난번에 생성한 프로젝트인 DI_Workshop에서 Data Flow를 생성합니다. 아래와 같이 Data Flow Designer가 생성되면 임의의 이.. 2024. 4. 29. OCI Data Integration 활용 - Data Loader Task 지난 포스트에서는 OCI Data Integration Service에 대해 간단히 소개를 드렸습니다. OCI Data Integration 소개 - Data 통합을 위한 서버리스 ETL 서비스 기업내 시스템 들은 정보계, 기간계, 계정계, 대외계 등 다양한 목적으로 분류 되어 사용됩니다. 저장되는 데이터의 유형에 따라 데이터 베이스 성격도 달라져서 시스템 최적화를 위해서도 비슷 oracle-cloud.tistory.com 이번엔 단일/여러 테이블의 데이터를 1:1로 추출, 적재를 수행하는 Data Loader Task를 구성하는 방법에 대해 알아보겠습니다. 이번 시나리오는 CSV file을 ADW로 loading 하는 절차를 진행해 보겠습니다. 전체적인 구성 과정은 다음과 같습니다. Data Integ.. 2024. 4. 1. OCI Data Integration 소개 - Data 통합을 위한 서버리스 ETL 서비스 기업내 시스템 들은 정보계, 기간계, 계정계, 대외계 등 다양한 목적으로 분류 되어 사용됩니다. 저장되는 데이터의 유형에 따라 데이터 베이스 성격도 달라져서 시스템 최적화를 위해서도 비슷한 유형으로 분리하여 구성됩니다. 이렇게 다양하게 나눠진 데이터베이스 시스템 간의 데이터의 통합은 비즈니스 상 반드시 복제/통합 등의 요건이 발생하게 됩니다. 오라클 클라우드에서는 Oracle Database의 데이터의 통합을 위한 두가지 대표적인 Cloud Native Service를 제공합니다. OCI GoldenGate Service OCI Data Integration Service OCI GoldenGate는 실시간 데이터 동기화를 위한 서비스로 Data Replication, Data Pipeline, Stre.. 2024. 2. 28. 이전 1 다음
