[AWS] 스토리지(Storage): S3, Glacier

📌INDEX

• 스토리지(Storage)란?
• 스토리지 유형
• 스토리지 종류
• 데이터 백업(Data Backup)이란?
• 스냅샷(Snapshot)이란?
• Amazon S3(Simple Storage Service)
• Amazon S3 활용 분야
• Amazon S3 스토리지 클래스
• Amazon Glacier
• Amazon Glacier 데이터 접근 방법
• AMI와 Market Place

✔️스토리지(Storage)란?

스토리지란 컴퓨터에 데이터를 저장하는 저장소의 역할을 수행하는 부품

• 컴퓨터의 하드디스크와 동일한 역할을 수행하는 부품이라고 이해
• 스토리지를 서버에 직접 연결할 수 있음
• 대용량의 데이터를 저장하기 위해 별도의 스토리지용 네트워크 구성 가능

✔️ 스토리지 유형

• DAS(Direct Attached Storage)
  • 서버에 직접 연결ㄹ하는 방식
• NAS(Network Attached Storage)
  • 스토리지를 빠른 속도의 네트워크로 연결하는 방식
  • LAN(Local Area Network)을 연결하여 사용하기 때문에 비용이 저렴
  • 파일 기반 스토리지
  • OS 입장에서, 파일 서버로 표시됨
• SAN(Storage Area Network)
  • 스토리지를 빠른 속도의 네트워크로 연결하는 방식
  • 확장이 용이
  • 대규모 엔터프라이즈 환경을 구성하기 적합한 고속의 전용 네트워크를 구성하여 빠른 속도의 스토리지 서비스를 제공
  • 블록 기반 스토리지
  • OS 입장에서, SAN은 일반적으로 디스크로 나타나며 별도로 구성된 스토리지용 네트워크가 존재

AWS(Amazon Web Services)는 서비스의 용도에 따라 다양한 스토리지 서비스를 선택적으로 사용할 수 있음

• Amazon S3(Simple Storage Service)
• Amazon Glacier

 

✔️스토리지 종류

RedHat 설명

스토리지 종류에는 Block Storage, File Storage, ObjectStorage가 있다.

• Amazon S3는 Object Storage

 

 

 

✔️ 데이터 백업(Data Backup)이란?

데이터 백업이란, 데이터가 손상되거나 유실되는 것을 대비하여 데이터를 복사하고 다른 곳에 저장하는 것

• 저장 장소는 동일 장비 또는 다른 장비의 하드 디스크 공간일 수있으며, 별도의 백업 테이프 또는 장비일 수도 있음
• 언제든지 발생할 수 있는 최악의 상황에 대비하기 위해 데이터를 반드시 백업해 두어야함
• 문제가 발생할 수 있는 경우
  • 하드웨어(Hardware) 고장, 하드 디스크(Hard Disk) 손상
  • Database 및 소프트 웨어 손상, OS 자체 문제로 인한 데이터 손상
  • 운영상의 데이터 유실 및 작업자의 실수, 개발자의 실수 및 쿼리 오류 등
    • 운영상의 실수란, 사용자가 잘못해서 데이터를 지우거나 전원을 내려서 데이터가 손상되는 등의 실수
• 문제 상황 뿐만 아니라, 서버를 이전하거나 교체하는 경우에도 데이터 백업이 이루어져야함
• 관련 AWS 서비스
  • EBS Snapshot
  • AMI 백업

✔️ 스냅샷(Snapshot)이란?

스냅샷은 기술적인 용어로, 특정 시점의 데이터 저장 장치의 상태를 별도의 파일이나 이미지로 저장하는 기술

• 스냅샷 기능을 이용하여 데이터를 저장하면, 유실된 데이터 복원과 일정 시점의 상태로 데이터를 복원 가능
• 일반적으로 데이터 분석, 데이터 보호 및 데이터 복제와 가틍ㄴ 작업을 위해 수행
• 재해복구(Disaster Recovery)와 같은 장애 상황에서도 데이터 복원을 통해 중요하고 긴급한 상황에도 최상의 데이터 보호 수단이 될 수 있음
• 데이터 연속성을 요구하는 상황에서 데이터를 보호할 뿐만 아니라 보다 높은 애플리케이션 가용성을 제공
• 대용량 데이터의 백업 관리를 단순화하여 운영 관리 비용을 최소화
• 관련 AWS 서비스
  • EBS(Elastic Block Storage)에 대한 스냅샷
  • 다른 EC2 또는 다른 리전(Region)으로의 EBS 복사 기능 제공 : 인스턴스 Migration
  • 재해 복구 시나리오 제공

✔️ Amazon S3(Simple Storage Service)

Amazon S3는 Simple Storage Service의 약자로 인터넷 기반 스토리지 서비스

• 확장성이 뛰어나며, 무한대로 저장 가능
• 견고성이 우수 : 99.9999999999% 내구성
• 사용한 만큼만 지불
• 버킷(Bucket)이라는 리전(Region) 내에서 유일한 영역을 생성
• 데이터를 키-값 형태의 객체(Object)로 저장
• 비용이 매우 저렴하며, 간단한 정적 웹 서비스를 위한 웹 사이트를 만들 수 있음
• S3 서비스는 스토리지 기술을 근간으로 하며, 파일 단위의 접근만 지원하기 때문에 EBS 서비스를 대체할 수 없음
• S3는 사용하고 있는 저장 공간만큼 매월 비용을 지불하며, 저장하는 데이터의 크기, 액세스 요청 횟수, 데이터 다운로드(Network Out)용량 등으로 전체적인 비용을 산정
• 프리티어(Free Tier)
  • 5GB Amazon S3 표준 스토리지
  • Get 요청 20,000건, Put 요청 2,000건
  • 가입 후 12개월 이후에 종료됨
• URL 생성 방식(저장 위치)

버킷 :  https:// [버킷이름] .s3.amazonaws.com
버킷-file   : https:// [버킷이름] .s3.amazonaws.com/파일명
test버킷 내에 test.jpg 는 경우 :  https://test.s3.amazonaws.com/test.jpg------internet-----user

• S3 접근 권한

소유자	버킷(비공개)	user, 일반 인터넷 사용자	금지
소유자	버킷(공개)	user, 일반 인터넷 사용자	접근가능
소유자	버킷(접근정책)	허가된 A user	접근가능
		허가되지 않은 B user	금지

 

 

✔️ Amazon S3 활용 분야

백업 및 복구(Backup & Restore)

• 뛰어난 내구성과 확장성, 버전 관리 기능으로 데이터 보호
• 하이브리드(Hybrid) 구성을 통해 기업 내 데이터 백업 및 복원 기능을 제공

데이터 아카이빙(Data Archiving)

• 요구사항에 맞는 아카이빙 방식 제공
• 교객이 규제 대상 산업(금융 및 의료 등)을 위한 규정 준수, 아카이브 요구사항 또는 아카이브 데이터에 드물지만 빠르게 액세스해야하는 조직을 위한 활성, 아카이브 요구사항을 충족할 수 있도록 다양한 스토리지 클래스를 제공

빅데이터 분석을 위한 데이터 레이크(Data Lake)

• 빅데이터 분석용 저장소로 활용
• 제약 또는 재무 데이터, 사진과 비디오와 같은 멀티미디어 파일과 같이 어떤 파일을 저장하든 관계없이 Amazon S3를 빅데이터 분석용 데이터 레이크로 사용할 수 있음

하이브리드 클라우드 스토리지(Hybrid Cloud Storage)

• AWS Storage Gateway와 연계하여 온프레미스 환경에서 클라우드 스토리지를 활용
• 데이터 백업 및 재해복구를 원할하게 수행할 수 있음

재해 복구(Disaster Recovery)

• S3의 내구성 및 안전성이 뛰어난 글로벌 인프라를 활용하여 탁월한 데이터 보호 및 타 리전(Region)으로 교차 리전 복제(CCR)서비스를 제공

✔️ Amazon S3 스토리지 클래스

Amazon S3는 여러 사용 사례에 맞춰 설계된 다양한 스토리지 클래스를 통해 용도에 맞게 사용자가 선택할 수 있는 옵션을 제공

S3 표준(S3 Standard)

• 자주 액세스하는 데이터를 위한 스토리지 클래스
• 내구성, 가용성 및 성능이 뛰어난 객체 스토리지 서비스를 내구성
• 99.99% 가용성과, 99.999999999% 내구성 제공 설계를 지원
• 비용이 EBS 대비 20%까지 저렴하며, 전송 데이터를 위한 SSL 및 저장 데이터 암호화를 지원

S3 표준-IA(S3 Standard Infrequent Access)

• 액세스 빈도가 낮으며, 빠르게 액세스가 필요한 데이터를 위한 스토리지 클래스
• S3 표준과 동일한 내구성 및 성능과 가용성 지원
• 비용이 기존 S3 대비 58%저렴하며, 최근 백업 서비스에 많이 사용되는 스토리지 클래스

S3 One Zone-IA(Infrequent Access)

• 액세스 빈도가 낮으며, 빠르게 액세스가 필요한 데이터를 위한 스토리지 클래스
• 최소 3개의 가용 영역(AZ)에 데이터를 저장하는 다른 S3 스토리지 클래스에 달리, 단일 AZ에 데이터를 저장함으로써 S3 Standard-IA 대비 20% 저렴한 비용을 제공

Amazon Glacier

• 데이터 보관을 위한 안전하고 안정적이며 비용이 매우 저렴한 스토리지 클래스
• S3와 같은 내구성과 성능 및 가용성을 보유
• S3 표준 대비 최고 77%까지 저렴한 비용을 제공
• 데이터 아카이빙 및 장기간 데이터 보관 및 오래된 로그 데이터에 대한 저장 용도롤 적당한 서비스
• S3 의 수명주기 기능을 통한 객체 자동 마이그레이션을 제공

✔️ Amazon Glacier

Amazon Glacier는 데이터 아카이빙 및 장기 백업을 위한 안전하고 안정적이며 비용이 매우 저렴한 클라우드 스토리지 서비스

• 99.999999999%의 안정성을 제공하도록 설계
• 가장 엄격한 데이터 보관에 대한 규제 요구사항(SEC Rule 17a-4, PCI-DSs, HIPAA/HITECH, FedRAMP, DE GDPR 및 FISMA)도 충족할 수 있는 종합적인 보안 및 규정 준수 기능을 제공
• S3의 개별 스토리지 영역인 'Bucket'과 유사한 **'Vault'**라는 개별 스토리지 영역을 생성하여 데이터 보관
• Console을 통한 업로드로 지원하며, 별도의 API를 이용하여 데이터에 대한 저장 기능을 제공
• 일반적으로 S3에 저장되는 데이터는 라이프사이클 옵션을 활용하여 일정 기간 이상 지난 데이터에 대해 보다 저렴한 Glacier로 이동하여 저장하는 옵션을 사용할 수 있음
• 프리티어(Free Tier)
  • 데이터 보관에 대해 프리티어 제공하지 않음
  • 단, 월별 10GB의 Amazon Glacier 데이터 검색 무료 제공

✔️ Amazon Glacier 데이터 접근 방법

1) API/SDK를 이용한 Direct 연결

• API나 SDK를 활용한 프로그램 개발을 통해 깊에 저장된 데이터를 위한 Glacier에 직접 접속

2) S3 라이프 사이클과의 통합

• S3의 라이프 사이클과 통합을 통해 오래된 데이터에 대해 Glacier로 자동 이관

3) 3rd Party Tool과 AWS Storage Gateway 연동

• 기존 Backup 인프라와 3rd Party Tool과의 연계 및 AWS Storage Gateway통합을 통해 거부감 없는 방식으로 데이터 백업 및 보관 기능을 제공

✔️ AMI와 Market Place

AMI(Amazon Machine Image)

• EC2 인스턴스 생성에 필요한 모든 소프트웨어 정보를 담고 있는 템플릿 이미지
• 언제든지 생성가능하며, 사용자가 생성한 AMI를 통해 통일한 인스턴스 생성 가능
• 사용 예
  • Auto Scaling 등 자동화 할 때
  • EC2 인스턴스를 다른 리전(Region)으로 이전해야할 때
  • 상용 솔루션이 설치되어있는 소프트웨어를 사용하는 경우 AWS Marketplace를 사용하기 위해 AMI 사용

Amazon Marketplace

• AWS에서 실행되는 소프트웨어를 판매 또는 구매할 수 있는 온라인 스토어
• AWS 마켓 플레이스는 35개의 카테고리에 걸쳐 1280개 이상의 소프트웨어 판매업체가 제공하는 4,200개 이상의 소프트웨어를 보유
• OS, Security, Network, Storage, BI(Buisness Intelligence), Database, Media 등 다양한 분야에 걸치 솔류션들과 Application을 검색하고, 구매하고, 배포 및 관리할 수 있는 원-스톱(One-stop) 쇼핑을 지원