배치 프로그램이란? 이제 막 개발을 시작하는 사람에게는 생소한 용어일 수 있다. 지난번 말했던 ETL과 동일하게 배치 프로그램 담당자가 따로 있을 정도로 중요한 업무 중 하나라고 생각되며 쉽게 설명하면 일괄 처리이다는 뜻이 있다. 배치의 특징 다수의 데이터를 처리한다. 특정 시간에 실행한다. 일괄적으로 처리한다. 금융 쪽 개발 일을 하면서 배치, 실시간이라는 용어를 많이 들어봤다. 예상 가능한 실시간 처리와 반대로 배치는 쉽게 다수의 데이터를 취합하여 특정 시간에 일괄적으로 처리한다라는 한 줄로 설명이 가능한데 예시를 들어보자. 보험사는 특정 고객이 하나의 마케팅을 통하여 계약을 성사시킨다. 그렇다면 그 계약한 고객의 데이터는 어떻게 될 까? 이러한 고객 데이터를 일괄적으로 취합하여 일, 주, 월마다 혹..

마이그레이션은 이주라는 뜻이 존재한다. 하지만 개발자에게 마이그레이션은 한 시스템에서 다른 시스템으로 옮기는것을 의미한다. 다른 업무를 예로 들겠다 한번 다룬적인 있는 ETL을 예로 들어보자. ETL은 결국 Source와 Target이 존재하는데 Source에 있는 데이터를 Target으로 마이그레이션한다고 말할 수 있다. 꼭 소프트웨어적인 측면에서만 말하는게 아니라 하드웨어 측면에서도 마이그레이션이라는 단어는 쓰인다. 마이그레이션아리는 용어는 어느 개발 분야에서든 쓰이기 때문에 꼭 알아두는것이 좋다.

ETL(Extract Transform Load) 일을 하다보면 한번을 들어보거나 데이터에 관심이 많은 사람이라면 한번을 들어볼 수 있는 단어다. 말 그대로 추출(Extract), 변환(Transform), 적재(Load)이며 내가 원하는 데이터를 추출하여 내 입맛에 맛게 변환한 후 DW(Data Warehouse)에 적재하는 것을 말한다. DW는 중요 개념이기 때문에 다른 게시물에 다뤄보고 단순히 ETL를 이렇게 설명할 수 있다. 사실 ETL의 개념은 어려운것이 아니다. 예를 들어보자 우리가 보통 DB에 저장하는 시간은 보통 sysdate같이 년월일 시분초(yyyyMMdd HH:mm:ss)로 저장하게 되거나 varchar로 저장하게되어 데이터를 표현하는데. 그 데이터들이 각각 한 컬럼에서 저장되있다고 ..