[Azure DP-900] 3. Azure에서 비관계형 데이터 탐색하기!

먼저, 비관계형 데이터베이스는?  데이터에 관계형 스키마를 적용하지 않는 데이터 관리 시스템

https://sooin-study.tistory.com/6

[Azure DP-900] 1. 핵심 데이터 개념이란?

 

Azure Cosmos DB란?

다중 모델, 글로벌 규모 NoSQL 데이터베이스 관리 시스템

 

특징:

1. 여러 스토리지 API 지원

2. 빠른 읽기 및 쓰기 성능으로 실시간 액세스

3. 다중 지역 쓰기를 사용하여 데이터를 전역으로 복제가능

4. 지정된 지역의 사용자가 로컬 복제본으로 작업할 수 있도록 설정 가능

 

 

Azure Cosmos DB의 API 식별?

1. Azure Cosmos DB for NoSQL

SELECT FROM WHERE

→ Cosmos DB용 네이티브 API

 

2. Azure Cosmos DB for MongoDB

db.products.find({ id: 123})

→ MongoDB와의 호환성

 

3. Azure Cosmos DB for PostgreSQL

→ PostgreSQL과의 호환성

 

4. Azure Cosmos DB for Table

→ 키-값 스토리지 API, Azure Table Storage와 호환 가능

 

5. Azure Cosmos DB for Apache Cassandra

→ Apache Cassandra와의 호환성

 

6. Azure Cosmos DB for Apache Gremlin

→ 그래프 데이터 작업에 사용. 꼭짓점은 관계(에지)를 통해 연결

 

 

Azure Blob Storage 살펴보기?

클라우드에서 매우 많은 양은 양의 비정형 데이터를 Blob(이진 대형 개체)로 저장할 수 있는 서비스

 

Azure Blob Storage 형식:

1. 블록 Blob

- 자주 변경되지 않는 크고 불연속적인 이진 개체

- Blob은 최대 4.7TB일 수 있으며 최대 100MB의 블록으로 구성

- Blob에는 최대 5만 개의 블록이 포함 가능

 

2. 페이지 Blob

- VM용 가상 디스크 스토리지로 사용

- Blob은 최대 8TB일 수 있으며 고정 크기 512바이트 페이지로 구성

 

3. 추가 Blob

- 추가 작업을 최적화하는데 사용되는 블록 Blob

- 기존 블록의 업데이트나 삭제 지원 불가

- 최대 크기는 195GB를 초과, 각 블록은 최대 4MB

 

 

Azure Blob Storage 액세스 계층:

1. 핫  

- 기본값, 가장 높은 비용, 가장 낮은 대기 시간

 

2. 쿨

- 더 낮은 비용, 더 높은 대기 시간

 

3. 보관

- 가장 낮은 비용, 가장 높은 대기 시간

 

# 보관 계층에서 Blob을 검색하려면 액세스 계층을 핫 또는 쿨로 변경해야 Blob이 리하이드레이션된다.
(리하이드레이션 프로세스가 완료되어야 Blob을 읽음)

 

 

 

 

Azure Data Lake Store Gen 2이란?

Azure Data Lake Store(Gen1)

: 분석 데이터 레이크용 계층적 데이터 스토리지를 위한 별도의 서비스  

 

Azure Data Lake Store(Gen2)

: 위 서비스의 최신 버전

 

1. Blob Storage 기반의 분산 파일 시스템

- 파일 및 디렉터리 수준 액세스 제어 및 관리를 사용하도록 설정
- 일반적인 대규모 분석 시스템과 호환

 

2. 계층 구조 네임스페이스 옵션을 통해 Azure Storage 계정에서 사용

- 스토리지 계정을 처음 만들 때 이 작업을 수행하거나 Data Lake Gen2를 지원하도록 기존 Azure Storage 계정을 업그레이드 가능
- 업그레이드는 단방향 프로세스로, 계정을 업그레이드한 후에는 단일 구조 네임스페이스로 복원 불가

 

Azure Storage 계정>Blob 컨테이너>계층구조 네임스페이스(디렉터리>file1,file2...)

 

 

Azure Files란?

: 문서 및 기타 파일을 클라우드 기반 네트워크를 통해 공유를 만드는 방법

- 단일 스토리지 계정에서 최대 100TB의 데이터를 공유 가능

- 공유 파일당 최대 2,000개의 동시 연결 지원

 

Azure File Storage 계층

- 표준 계층: 데이터 센터에서 하드 디스크 기반 하드웨어를 사용
- 프리미엄 계층: SSD 사용

 

네트워크 파일 공유 프로토콜

- SMB(서버 메시지 블록)
- NFS(네트워크 파일 시스템): Linux 및 macOS 버전에서 사용(프리미엄 계층 필요)

 

 

 

 

Azure Table Storage이란?

: 키/값 데이터 항목이 포함된 테이블을 사용하는 NoSQL 스토리지 솔루션

 

- Azure 테이블을 사용하면 반정형 데이터 저장 가능

- Azure Table Storage의 데이터는 일반적으로 비정규화되며, 각 행은 논리적 엔터티의 전체 데이터 보유

 

1. 빠르게 액세스할 수 있도록 테이블을 파티션으로 분할
- 파티션은 서로 독립적이며, 파티션에 행이 추가되거나 제거됨에 따라 확장 또는 축소 가능
- 데이터를 검색할 때 검색 조건에 파티션 키 포함 가능

   -> 검사할 데이터 볼륨의 범위, 데이터를 찾는 데 필요한 I/O 양이 줄어들어 성능이 향상

 

2. Azure Table Storage 테이블의 키
- 행을 포함하는 파티션을 식별하는 파티션 키
- 동일한 파티션의 각 행에 대해 고유한 행 키