Data Mesh와 Data Lake의 이해

Data Mesh

Data Mesh(데이터 메쉬)는 조직 내 대규모 데이터를 관리하고 접근하는 현대적인 접근 방식으로, 특히 분산되고 복잡한 환경에서 유용한 방법이다. 데이터 소유권과 관리 권한을 도메인 팀에게 분산시켜 데이터 품질과 관리 효율성을 높이고, 데이터 활용을 촉진하는 아키텍처 접근 방식이다. 데이터는 각 도메인이 자체적으로 책임지고 관리하며, 데이터를 제품처럼 다룬다. 전통적인 중앙집중식 데이터 아키텍처의 확장성, 민첩성, 품질 문제를 해결하고, 보다 협력적이고 효율적인 데이터 환경을 조성하는 것을 목표로 하는데,이를 효과적으로 구현하려면 상당한 문화적, 인프라적 변화가 필요하다.

Data Mesh의 주요 원칙

Domain-Oriented Decentralized Data Ownership

• 데이터를 가장 잘 이해하는 도메인 팀에게 데이터 소유권을 분산시키는 것을 지향
• 전통적인 중앙집중식 데이터 팀 모델과 대조되며, 중앙집중식 모델은 병목 현상이 발생할 수 있음

Data as a Product

• 데이터는 발견 가능하고, 이해할 수 있으며, 신뢰할 수 있고, 사용 가능해야 하는 제품으로 간주
• 각 도메인 팀은 자신의 데이터를 위한 제품 소유자로서 품질을 보장하고, 쉽게 접근할 수 있도록 문서화와 API 제공

Self-Service Data Infrastructure

• 주요 목표는 도메인 팀이 독립적으로 데이터 관리, 처리 및 제공할 수 있는 도구와 인프라를 제공하는 것
• 데이터 저장소, 처리, 파이프라인 및 거버넌스 도구를 포함한 셀프 서비스 플랫폼 구축 포함

Federated Computational Governance

• Data Mesh는 거버넌스 정책과 표준이 도메인 간에 구현되지만 분산된 방식으로 관리되는 연합 방식의 거버넌스 접근 방식을 촉진함
• 이를 통해 중앙집중식 통제를 하지 않고도 일관성 및 준수성을 유지하면서도 민첩성과 확장성을 촉진할 수 있음

Data Mesh의 장점

• 확장성: 데이터 관리를 분산시킴으로써 각 도메인이 독립적으로 성장하고 혁신할 수 있어 데이터 운영을 효과적으로 확장 가능
• 민첩성: 도메인 팀이 더 빠른 의사 결정을 내리고 신속하게 반복할 수 있어 데이터 기반 통찰력에 대한 조직의 전반적인 대응 능력을 향상
• 데이터 품질 향상: 도메인 팀이 데이터에 대한 이해가 깊어 품질이 향상되고 관련성이 높은 데이터 셋 제공 가능
• Data Mesh 도입시 고려사항
  • 문화적 변화: 데이터 메쉬를 채택하려면 중앙집중식 통제에서 보다 협력적이고 자율적인 모델로의 상당한 문화적 변화가 필요
  • 인프라 및 도구: 필요한 셀프 서비스 인프라를 구축하는 것은 복잡하고 많은 자원이 필요할 수 있음
  • 데이터 거버넌스: 연합된 거버넌스를 효과적으로 구현하려면 일관성과 준수성을 유지하면서도 혁신을 저해하지 않는 신중한 계획이 필요함

Data Mesh 사용 감소 이유

데이터 메쉬는 그 자체로 혁신적이고 많은 가능성을 제공하지만, 기술적, 조직적, 문화적 도전 과제로 인해 사용에 제한이 있다. 이러한 도전 과제를 극복하기 위해서는 조직의 성숙도 향상, 명확한 도메인 경계 설정, 강력한 데이터 거버넌스와 품질 관리 체계가 필요하다. 동시에, 데이터 패브릭과 같은 대체 접근 방식의 부상도 데이터 메쉬의 사용 감소에 영향을 미치고 있다.

기술적 복잡성

데이터 메쉬 아키텍처는 상당한 기술적 복잡성을 동반하고, 기존 데이터 인프라에서 데이터 메쉬로 전환하려면 데이터 관리 방식과 관련 기술에 대한 큰 변화를 필요로 한다. 이를 구현하기 위해서는 고도의 기술과 숙련된 인력이 필요하며, 많은 조직이 이러한 기술적 과제를 해결하는 데 어려움을 겪고 있다.

조직의 성숙도 부족

데이터 메쉬의 성공적인 구현은 조직의 높은 성숙도를 요구한다. 데이터 거버넌스와 분산 데이터 관리에 대한 명확한 이해와 실천이 필요한데,  많은 조직은 아직 성숙도에 미치지 못해 데이터 메쉬 도입 시도가 실패로 끝나는 경우가 많다.

도메인 경계 설정의 어려움

데이터 메쉬는 도메인 기반의 데이터 소유권을 강조하지만, 복잡한 조직 구조에서는 명확한 도메인 경계를 설정하는 것이 어렵다. 특히, 비즈니스 기능이 중복되거나 교차하는 경우, 도메인 간의 데이터 관리와 책임 소재를 명확히 하는 데 어려움이 있다.

문화적 저항

중앙 집중식 데이터 관리에서 분산식 데이터 관리로의 전환은 조직 문화에 큰 변화를 요구한다. 이러한 변화는 조직에서 저항을 불러일으킬 수 있으며, 특히 전통적인 데이터 관리 방식을 선호하는 경우 변화에 대한 반발이 심하기도 하다.

데이터 품질 및 상호 운용성 문제

분산된 데이터 관리 환경에서는 각 도메인이 독립적으로 데이터를 관리하기 때문에 데이터 품질을 일관되게 유지하는 것이 어렵다. 또, 도메인 간의 데이터 상호 운용성을 보장하기 위해서는 강력한 표준과 프로토콜을 필요로 한다. 이러한 문제들은 데이터 메쉬의 효과적인 구현을 방해하는 주요 요인이 된다.

대체 접근 방식의 부상

데이터 패브릭(Data Fabric)과 같은 다른 데이터 아키텍처 접근 방식이 부상하면서 데이터 메쉬의 인기가 상대적으로 감소하고 있다. 데이터 패브릭은 다양한 데이터 소스를 통합하여 통합된 데이터 관리 환경을 제공하는 데 중점을 두고 있어, 복잡한 데이터 환경에서 유연성과 확장성을 제공하는 데 더 유리하다는 평가를 받고 있다.

Data Lake

Data Lake(데이터 레이크)는 다양한 소스에서 대규모의 원시 데이터(raw data)를 중앙집중식으로 저장하는 시스템 또는 저장소로, 구조적 데이터, 반구조적 데이터, 비구조적 데이터를 포함한 모든 유형의 데이터를 저장할 수 있다. 데이터가 원래 형태 그대로 저장되며, 나중에 분석이나 처리 작업을 위해 필요할 때 구조화될 수 있다는 특징이 있다.

Data Lake의 특징

다양한 데이터 유형 수용

구조적 데이터(예: 관계형 데이터베이스), 반구조적 데이터(예: JSON, XML), 비구조적 데이터(예: 텍스트 파일, 이미지, 동영상) 등 모든 유형의 데이터를 저장할 수 있음

Raw Data 저장

데이터를 변환하거나 가공하지 않고 원래 형태 그대로 저장하여 데이터 손실을 방지하고, 다양한 분석 요구에 유연하게 대응함

확장성

대규모 데이터를 효율적으로 저장하고 관리할 수 있는 확장성을 제공하는데, 이는 클라우드 기반 스토리지 솔루션을 활용하여 용량을 쉽게 확장할 수 있도록 해준다.

비용 효율성

상대적으로 저렴한 스토리지 솔루션을 사용하여 대규모 데이터를 저장할 수 있어 비용 효율적이다.

데이터 검색 및 분석

다양한 도구와 기술을 사용하여 데이터 레이크 내의 데이터를 검색하고 분석할 수 있어 데이터 사이언스, 머신러닝, 빅데이터 분석 등에 유용

데이터 레이크의 구성 요소

Data Sources

데이터 레이크에 데이터를 공급하는 다양한 소스. 관계형 데이터베이스, IoT 디바이스, 로그 파일, 소셜 미디어, 애플리케이션 등 다양한 형태를 포함

Data Ingest

데이터를 데이터 레이크에 가져오는 프로세스로, 배치(batch) 또는 실시간 스트리밍 방식으로 데이터를 수집

Data Storage

수집된 데이터를 저장하는 공간. 일반적으로 확장성과 비용 효율성을 위해 클라우드 기반 스토리지를 사용한다. (에, AWS S3, Azure Data Lake Storage 등)

Data Catalog

Data Lake내의 데이터를 효율적으로 찾고 관리하기 위해 메타데이터를 제공하는 시스템. Search, lineage, governance 등을 지원함

Data Processing and Analytics

저장된 데이터를 처리하고 분석하는 도구와 프레임워크. 이를 통해 데이터 정제, 변환, 분석, 시각화 작업을 수행할 수있다. (Hadoop, Spark, Presto, Hive, 데이터 시각화 도구 등)

Data Security and Governance

데이터의 보안, 프라이버시, 규정 준수를 관리하는 체계로, 데이터 접근 제어, 암호화, 감사 로그 등을 포함.

Data Lake의 장점

• 유연성: 다양한 형태의 데이터를 원시 상태로 저장하고 필요할 때 구조화할 수 있어 매우 유연함
• 확장성: 클라우드 기반 솔루션을 통해 용량을 손쉽게 확장할 수 있음
• 비용 효율성: 저렴한 스토리지 솔루션을 사용하여 대규모 데이터 저장 가능
• 데이터 통합: 여러 소스의 데이터를 통합하여 중앙집중식으로 관리할 수 있음

Data Lake의 한계

• 데이터 품질 관리: row data를 저장하기 때문에 데이터의 품질 관리에 어려움이 있음
• 데이터 보안: 대규모 데이터를 중앙집중식으로 저장하기 때문에 보안 위험이 증가
• 데이터 정리 및 관리: 모든 데이터를 원시 형태로 저장하면 필요한 데이터를 찾고 사용하는 데 어려움 야기

요약

Data Lake는대규모 raw data를 중앙집중식으로 저장하는 방식으로, 유연성과 확장성이 뛰어나지만 데이터 품질 관리와 중앙 관리에서 병목 현상이 발생할 수 있고, Data Mesh는 데이터 소유권과 관리를 도메인 팀에 분산시켜 데이터 품질과 접근성을 높이며, 확장성과 유연성을 제공하지만 초기 구축 비용과 도메인 간 협업 유지가 어렵다는 단점이 있다.

개념과 목적

측면	데이터 레이크	데이터 메쉬
			목적	다양한 소스에서 대규모의 원시 데이터를 중앙집중식으로 저장하여 향후 분석과 처리를 용이하게 한다.	데이터 소유권과 관리 권한을 도메인 팀에게 분산시켜 데이터 품질과 관리 효율성을 높이고, 데이터 활용을 촉진한다.
개념	모든 형태의 데이터를 원시 상태 그대로 저장하는 대규모 저장소입니다. 데이터는 구조적, 반구조적, 비구조적 형태로 저장되며, 필요할 때 가공되어 분석에 사용된다.	데이터 관리와 소유권을 도메인별로 분산하여 각 도메인이 자체 데이터를 책임지고 관리하는 분산형 데이터 아키텍처입니다. 데이터는 제품처럼 다루어지며, 셀프 서비스 인프라와 연합된 거버넌스를 통해 관리된다.

아키텍처와 접근 방식

	데이터 레이크	데이터 메쉬
중앙집중식 저장소	모든 데이터를 하나의 중앙 저장소에 저장한다.	데이터 소유권을 도메인 팀에 분산시켜 각 도메인이 데이터를 관리한다.
원시 데이터 저장	데이터를 변환하지 않고 원시 상태로 저장하여 다양한 분석 요구에 유연하게 대응할 수 있다.	데이터는 제품처럼 다루어지며, 각 도메인 팀은 데이터 품질과 접근성을 보장한다.
데이터 처리	데이터를 저장한 후 필요에 따라 처리 및 분석합니다.	도메인 팀이 독립적으로 데이터 인프라를 사용하고 관리할 수 있는 환경을 제공한다.
연합된 거버넌스	해당 없음	중앙집중식 통제를 피하고, 도메인 간에 일관된 거버넌스 정책을 적용한다.

데이터 관리

	데이터 레이크	데이터 메쉬
데이터 관리	중앙 데이터 팀이 데이터 저장, 처리, 관리 등을 담당합니다.	각 도메인 팀이 데이터의 소유권을 가지고 관리합니다.
데이터 품질	원시 데이터를 그대로 저장하기 때문에 데이터 품질 관리가 어렵습니다.	도메인 팀이 데이터 품질을 보장하고, 데이터가 제품처럼 관리됩니다.
데이터 접근	데이터 접근에 있어 중앙집중식 통제가 이루어집니다.	도메인 팀이 독립적으로 데이터를 관리하고 제공하므로, 보다 유연한 접근이 가능합니다.

장단점

	데이터 레이크	데이터 메쉬
장점	다양한 데이터 소스를 통합하여 중앙에서 관리할 수 있다.	데이터 소유권과 관리를 분산하여 확장성과 유연성을 높인다.
	원시 데이터를 저장하여 유연하게 분석할 수 있다.	데이터 품질과 접근성을 향상시킨다.
단점	데이터 품질 관리가 어렵고, 데이터 정리가 필요하다.	도메인 간 협업과 일관된 거버넌스를 유지하는 데 어려움이 있을 수 있다.
	중앙집중식 관리로 인해 병목 현상이 발생할 수 있다.	셀프 서비스 인프라 구축에 대한 초기 비용과 노력이 필요하다.

참고문헌

Data mesh

• Dremio(Link)
• Atlan(Link)
• Datamani(Link)
• Thoughtworks(Link)

Data Lake

• Dremio(Link)
• qubole(Link)
• Datamation(Link)