OCI Data Integration 활용 - Incremental Data Load 구성하기

 

OCI DI Incremental data load 를 위해서는 

 

아래와 같이 2가지 방법이 있습니다. 

 

CASE 1 : Data Flows 에서 지원하는 DB (Oracle DB) 가 Source 일 경우 

 

Incremental 옵션이 활성화 됩니다. 

 

이때, 기준이되는. watermark column 이 필요하게 되는데 UTC 기준으로만 동작합니다. 

 

 

Watermark column 에 시간과, OCI DI 내부적으로 저장된 마지막 수행 시간을 비교해서 그 이후의 값들만 가져옵니다. 

 

만약 소스 테이블에 UTC 기준 시간이 없다면,  사용하기 어렵습니다. 9시간 시차가 발생하기 때문에 아무런 동작을 하지 않습니다. 

 

따라서 이 경우 아래와 같은 쿼리를 사용해서 Source 를 가져오는 기능을 사용할 수 있습니다. 

 

CASE2 : Source Table 을 쿼리와 시스템 변수를 활용하여 작성하는 방법 

 

Incremental 옵션을 사용하지 않고, Source Table 설정에서 아래와 같이 SYS.LAST_LOAD_DATE 변수를 활용하여 

그 이후에 데이터만 가져오는 쿼리를 적용할 수 있습니다. 

 

커스템 쿼리 적용 

select * from event_log where EVENT_TIME_KST > TO_TIMESTAMP('${SYS.LAST_LOAD_DATE}' ,'YYYY-MM-DD"T"HH24:MI:SSTZH:TZM') at time zone 'Asia/Seoul'

 

'Data' Tab 으로 결과 확인 

 

감사합니다

 

작성자: 장재석 (coolguy81@gmail.com) / Cloud Engineer

개인의 시간을 할애하여 작성된 글로서 글의 내용에 오류가 있을 수 있으며, 글 속의 의견은 개인적인 의견입니다.