해당 글은 견고한 데이터 엔지니어링을 읽고 정리하였습니다. 더 자세한 내용은 도서에서 확인 부탁드립니다. 데이터 엔지니어링 수명 주기 데이터 엔지니어링 수명주기란? 수명 주기 데이터 생성 > 데이터 저장 > 데이터 수집 > 데이터 변환 > 데이터 서빙 드러나지 않는 요소 보안, 데이터 관리, 데이터 옵스, 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링 1. 데이터 생성 데이터 생성 시 고려 사항 데이터 원천의 본질적인 특징 (원천은 애플리케이션인지, IoT장치의 스웜인지 등) 원천 시스템에서 데이터는 어떻게 유지되는지 (데이터의 보존기간) 데이터의 생성속도 ( 시간당 몇 GB가 생성되는가) 출력 데이터에서 어느 정도의 일관성을 기대할 수 있는가? (예상하지 못한 출력값, 잘못된 데이터 포맷, 데..