Ziks

여러 오픈소스들을 조합하여 실시간 처리를 할 수 있는 구조 효율적인 방식으로 대량의 데이터를 처리할 수 있는 데이터 처리 기술 폴리글랏 프로세싱이라고도 함 Speed Layer + Batch Layer + Serving Layer의 3계층으로 구성된 실시간 아키텍쳐 장점 지연 시간 감소 높은 처리량, 낮은 대기 시간 (= 실시간) Batch Layer 데이터를 단위(시간, 크기 등) 만큼 잘라 처리한다. immutable data set의 성질을 갖는다. 모든 새로운 Data Stream은 Data Lake 위에서 처리됨 메모리 데이터베이스(ex. Redis)나 NoSQL기반 데이터베이스를 사용하여 Data Lake에 저장하는 경우 MapReduce / Machine Learning 을 사용, 데이터 처..