배치 프로그램이란? 이제 막 개발을 시작하는 사람에게는 생소한 용어일 수 있다. 지난번 말했던 ETL과 동일하게 배치 프로그램 담당자가 따로 있을 정도로 중요한 업무 중 하나라고 생각되며 쉽게 설명하면 일괄 처리이다는 뜻이 있다. 배치의 특징 다수의 데이터를 처리한다. 특정 시간에 실행한다. 일괄적으로 처리한다. 금융 쪽 개발 일을 하면서 배치, 실시간이라는 용어를 많이 들어봤다. 예상 가능한 실시간 처리와 반대로 배치는 쉽게 다수의 데이터를 취합하여 특정 시간에 일괄적으로 처리한다라는 한 줄로 설명이 가능한데 예시를 들어보자. 보험사는 특정 고객이 하나의 마케팅을 통하여 계약을 성사시킨다. 그렇다면 그 계약한 고객의 데이터는 어떻게 될 까? 이러한 고객 데이터를 일괄적으로 취합하여 일, 주, 월마다 혹..

마이그레이션은 이주라는 뜻이 존재한다. 하지만 개발자에게 마이그레이션은 한 시스템에서 다른 시스템으로 옮기는것을 의미한다. 다른 업무를 예로 들겠다 한번 다룬적인 있는 ETL을 예로 들어보자. ETL은 결국 Source와 Target이 존재하는데 Source에 있는 데이터를 Target으로 마이그레이션한다고 말할 수 있다. 꼭 소프트웨어적인 측면에서만 말하는게 아니라 하드웨어 측면에서도 마이그레이션이라는 단어는 쓰인다. 마이그레이션아리는 용어는 어느 개발 분야에서든 쓰이기 때문에 꼭 알아두는것이 좋다.

암호화 암호(Crytography)는 평문을 암호문으로 변환시켜 알아보지 못하게 표현하는 방식이다. 만일 평문이 '010-1111-2222'라면 암호문은 'abD@#SD%^DS!' 이런식으로 해독이 불가능한 텍스트로 변환된다. 암호화에는 단방향 암호화와 양방향 암호화가 존재한다. 단방향 암호화 암호화 후 복호화 할 수 없다. 양방향 암호화 암호화와 복호화 모두 가능하다. 대칭형은 암호화 할 때 사용했던 Key값을 사용하여 복호화를 진행한다. 비대칭형 암호화 할 때 사용했던 Key값과 복호화 할 때 사용하는 Key값이 다르다. 복호화 복호화(Decryption)는 암호문을 평문으로 변환하는 방식이다. 위에서 사용하였던 암호 'abD@#SD%^DS!'가 복호화를 거치면 다시 '010-1111-2222'으로 ..

만약 신입 개발자로 취업하게 되면 To-Bs와 As-Is를 많이 들어볼 것이다. 그 개념에 대해서 간략하게 설명하면 As-Is는 말 그대로 현재 "있는 그대로"를 의미한다. 이전 글에서 ETL개념을 넣어 설명하자면 ETL은 있는 데이터를 추출하여 변환하고 적재하는것이라고 설명했었다. 만약 한 테이블에서 매일 쌓이는 데이터가 U/I(Update/Insert) 즉 매일 기준이 되는 날짜나 변경컬럼에 대하여 Update만 실행 된다면 이 테이블의 As-Is 조건은 U/I일것이다. 만약 내가 이 테이블을 우리쪽에 변환 후 적재하려고 했을때 적재 조건을 U/I로 잡는다면 테이블의 To-Be 조건은 원래와 마찬가지로 U/I가 될 것이다. ● As-Is As-Is는 크게 3가지로 나누어지는데 1. As-Is 프로세스..

ETL(Extract Transform Load) 일을 하다보면 한번을 들어보거나 데이터에 관심이 많은 사람이라면 한번을 들어볼 수 있는 단어다. 말 그대로 추출(Extract), 변환(Transform), 적재(Load)이며 내가 원하는 데이터를 추출하여 내 입맛에 맛게 변환한 후 DW(Data Warehouse)에 적재하는 것을 말한다. DW는 중요 개념이기 때문에 다른 게시물에 다뤄보고 단순히 ETL를 이렇게 설명할 수 있다. 사실 ETL의 개념은 어려운것이 아니다. 예를 들어보자 우리가 보통 DB에 저장하는 시간은 보통 sysdate같이 년월일 시분초(yyyyMMdd HH:mm:ss)로 저장하게 되거나 varchar로 저장하게되어 데이터를 표현하는데. 그 데이터들이 각각 한 컬럼에서 저장되있다고 ..