OCI Data Integration 활용 - Data Loader Task

지난 포스트에서는 OCI Data Integration Service에 대해 간단히 소개를 드렸습니다.

 

OCI Data Integration 소개 - Data 통합을 위한 서버리스 ETL 서비스

 

이번엔 단일/여러 테이블의 데이터를 1:1로 추출, 적재를 수행하는 Data Loader Task를 구성하는 방법에 대해 알아보겠습니다. 이번 시나리오는 CSV file을 ADW로 loading 하는 절차를 진행해 보겠습니다. 

전체적인 구성 과정은 다음과 같습니다.

 

1. Data Integration을 사용하기 위한 Policy 설정
2. OCI Data Integration workspace 구성
3. OCI Data Integration Project 생성
4. OCI Data Integration Application 생성 
5. Source와 Target Data Asset 생성
6. Data Loader Task 생성
7. Application에 Loader Task를 Publish
8. Publish 된 Task 수행 

Data Integration을 사용하기 위한 Policy 설정

현재 Compartment (DI-compartment)에  Data integration service를 위한 권한과 DI-GROUP에 권한을 부여하고

DI-GROUP을 Data Integration을 구성할 계정에 부여합니다. 

 

 

OCI Data Integration workspace 구성

Data Integration으로 작업할 Workspace를 생성합니다. DI workspace에서 사용될 VCN을 지정하고 생성합니다. 

 

 

OCI Data Integration Project 생성

Data Integration Task가 생성될 Project를 생성합니다.  

 

OCI Data Integration Application 생성 

앞으로 생성할 Task가 Publish 될 Application을 생성합니다. 

 

 

Source와 Target Data Asset 생성

Data Integration Task에서 사용될 Source ADW와 Target Object Storage의 Data Asset을 구성하기 전에 필요한 권한을 설정합니다. 아래 Statement의 request.principal.id는 앞에 생성한 Workspace의 OCID를 지정합니다. 

 

Source Object Storage의 Data Asset을 Data Integration workspace 에서 생성합니다. 

• Name: Object_Storage
• Type: Oracle Object Storage
• URL: Object Storage Resource의 URL. URL은 다음의 형식으로 지정합니다. https://objectstorage.<region-identifier>.oraclecloud.com
• Tenant OCID: 사용하는 tenancy OCID
• Namespace: 위 정보를 기술하시면 자동으로 선택됩니다. 

 

다음은 Target ADW에 대한 Data Asset을 생성합니다. 

• Name: Data_Warehouse
• Type: Oracle Autonomous Data Warehouse 
• Upload Wallet 선택
• Wallet file은 Autonomous Data Warehouse의 Connection에서 다운 받을 수 있습니다.
• Wallet Password 입력
• Service Name: ADW의 Wallet에 정의된 Service 중 선택합니다. 

 

 

Data Loader Task 생성

이전 단계에서 생성한 Project에서 Data Loader Task를 생성합니다. 

Source Object Storage와 Target ADW를 선택하고 Load Type를 Multiple Data entities로 지정합니다. Next를 클릭합니다. 

Source Object Storage에 대한 상세 정보를 기술합니다. Source Object Storage를 위한 Data Asset, Connection, Bucket 이름을 선택하고 File에 대한 상세 정보를 기술합니다. Parameterize Option을 통해 입력되는 값을 쉽게 파라미터화 할 수 있습니다. 이는 나중에 다른 소스와 타겟에 대해 동일한 Task를 재사용 할 수 있도록 합니다. 

Available Data entities에 패턴을 통해 소스로 사용될 파일을 여러개 선택할 수 있습니다. 대상 파일은 add to source 버튼을 클릭하여 선택합니다. Next를 클릭합니다. 

 

Target ADW에 대한 정보를 입력합니다. Data Asset, Connection, Schema를 선택하고 Source와 마찬가지로 Parameter 화 할 수 있습니다. Next를 클릭합니다. 

Transformation 단계에서 Loading 될 Data/Attribute Profile을 확인할 수 있습니다. 

컬럼 메뉴(삼점 메뉴)를 통해 특정 컬럼에 대한 변경 작업을 수행 할 수 있습니다. Next를 클릭합니다. 

 

 

Data Integration Application에 Loader Task를 Publish

Loader Task를 선택하여 Publish 합니다. 

패치 단계는 Application에 Publish 된 Task에 대한 업데이트가 포함됩니다. 

 

 

Publish 된 Task 수행 

Application에 Publish 된 Task를 수행합니다. Integration 작업이 완료되면 데이터가 정상적으로 loading 되었는지 확인합니다. 

 

이상으로 OCI Data Integration을 이용하여 CSV file을 ADW로 Loading 하는 방법에 대해 간단히 알아보았습니다. 다음 Post는 Data Flow를 구성하는 방법에 대해 알아보도록 하겠습니다.  

 

감사합니다. 

 

작성자: 조용훈  
개인 시간을 투자하여 작성된 글로서, 글의 내용에 오류가 있을 수 있으며, 글 속의 의견은 개인적인 의견입니다.