섹션 21 aws의 데이터베이스

• RDBMS : SQL 사용하거나 온라인 트랜잭션을 처리할때 사용 (RDS,Aurora)
• NoSQL database - no joins, no SQL : (DynamoDB , ElastiCache ,Neptune, DocumentDB, Keyspaces )
• object store : S3 (for big objects)/ Glacier(for backups/archives)
• Data warehouse (=SQL Analytics/BI ) :Redshift(OLAP) ,EMR
• Search : openSearch (JSON) -free text
• graphs : 데이터 세트 간의 관계를 표시
• Ledger : amazon quantum ledger database
• time series : amazon timestream

RDS

• Managed PostgreSQL / MySQL / Oracle /SQL Server /Maria DB / Custom
• provisioned RDS 인스턴스 크기 EBS Volumne type & size
• auto-scaling capability for storage
• 읽기 용량 확장을 위해 read replicas 지원
• 고가용서 목적으로 대기 데이터베이스를 multi AZ 에 둘수 있다.
• 보안은 IAM ,Security groups , KMS ,SSL 통해 가능
• 자동 백업 옵션 (최대 35일 )
• 장기보존 백업을 원하는 경우 수동 DB 스냅샷
• RDS 프로식를 강제하여 RDS에 IAM 인증을 추가하는 기능

관계형 데이터 베이스를 저장하는데 활용한다.

Aurora

• PostgreSQL / MySQL 호환되는 api
• storage : 3 AZ 에 걸쳐서 6개의 복제본 저장 , 가용성 높음 ,self-healing, auto -scaling
• compute: cluster of DB 인스턴스를 여러 AZ걸쳐 저장 가능 auto-scaling of Read Replicas
• cluster : 읽기와 쓰기를 위한 사용자 지정 엔드 포인트
• same 보안 as RDS
• Aurora serverless → 용량에 제한없음
• Aurora multi-master → 계속되는 쓰기 오류 발생시
• Aurora Global : 글로벌 데이터 베이스를 원할때 each region에 최대 16개의 읽기전용 인스턴스 제공 region 간 스토리지 복제에 걸리는 시간은 1초 미만
• Aurora Machine Learning : ML실행 sageMaker와 Comprehend를 사용해서
• Aurora Database Cloning : new cluster from existing one ,스냅샷 복구보다 빠름

유지관리 할 내용이 적고 성능도 더 좋고 내장된 기능 많음

ElastiCahce

• Managed Redis / Memcached ( RDS 와 비슷 ,but for caches)
• 인메모리 데이터 스토어
• provision ec2 인스턴스
• clustering and multi AZ ,read Replicas ( sharding)
• 백업 ,스냅샷 ,point in time
• 코드 수정 to be leveraged

key / value store , 자주 reads ,적게 write 웹사이트 사용자를 위해 세션 데이터 저장

Amazon DynamoDB

• AWS 독점기술 serverless NoSQL
• 두가지 용량 모드
  • provisioned : 점진적으로 증가 혹은 감소 하는 이중 워크로드이 유용
  • on-demand : 용량을 프로비저닝 안해도됨 ,워크로드 예측 어렵거나 수요가 갑자기 급증할때
• elasticCache 대신 DynamoDB에 Key-value 저장 가능 (storing session data , using TTL)
• 높은 가용성 , multi AZ
• DAX cluster for read cache , microsecond 읽기 지연성
• 보안 ,인증,권한은 IAM 통해서 처리
• Event processing : DynamoDB streams to integrate with AWS lambda ,or kinesis data streams
• global table feature: 다중 리전 간에 다중 활성 복제를 할수 있다,
• 백업 옵션 두가지
  • 35까지 자동 백업 가능
  • 더 길게 할려면 on-demand
• PITR 지정 시간 복구
• PITR 이내에 RCU(읽기 용량 단위)를 사용하지 않고 DynamoDB테이블을 S3로 내보낼수 있다. 35일 이내
• 스키마를 빠르게 전개해야 하는경우

400KB 미만의 문서를 다루는 작은 서버리스 애플리케이션 개발

서버리스 캐시 분산

SQL 쿼리 언어 사용 불가

Amazon S3

• 키-값으로 저장
• 큰 객체 저장할때는 좋으나 여러개의 작은객체를 저장할때는 별로
• 서버리스 확장성 무한 최대크기는 5TB
• 특징:Versioning , Encryption , Replication , MFA-Delete , Access Logs
• 보안 : IAM ,Bucket Policies,ACL ,Access points, obejct lambda ,CORS, Object/vault lock
• 암호화 :SSE -SE , SSE-KMS , SSE-C , client-side , TLS in transit ,default encryption
• 배치 작업 : s3버킷에 있는 모든 파일을 한번에 작업
• performance : 병렬식으로 업로드하는 multi-part upload
  transfer Acceleration : s3 파일을 region → region 더빠르게 전송 s3 select 통해서 필요한 데이터 검색 가능
• Automation : S3 Event Notifications (SNS,SQS,Lambda , EventBridge)

정적 파일 , 큰파일의 key-value ,웹사이트 호스팅

DocumentDB

DocumentDB is the same for MongoDB(NoSQL database)

MongoDB는 데이터 저장 쿼리 인덱스 하는데 사용

• 데이터는 3AZ에 복제 ,스토리지는 10GB 단위 최대 64TB
• 초당 수백만 건의 요청이 있는 워크로드로 확장가능

Amazon Neptune

• 완전 관리형 그래프 데이터베이스
• 그래프 데이터셋은 소셜 네트워크 like facebook
• 3 AZ 걸쳐 최대 15개 읽기 전용 복제본으로 복제
• 소셜 네트워크 처럼 고도로 연결된 데이터 셋을 사용
• 데이터베이스에 최대 수십억 개의 관계를 저장 쿼리 지연시간은 밀리초

Amazon Keyspaces

• AWS 의 관리형 Apache Cassandra를 보조
• cassandra 오픈소스 NoSQL 분산 데이터베이스
• Keyspaces 사용하면 클라우드에서 AWS가 cassandra 를 직접 관리
• 서버리스 서비스 확장성 가용성 높음
• 트래픽에 따라 자동 확장 /축소
• 테이블 데이터는 여러 AZ에 걸쳐 3번 복제
• Cassandra 쿼리 언어 사용
• 어떤 규모에서도 지연시간이 10밀리초 미만으로 짧음
• 두가지 용량 모드
  • provisioned mode
  • on-demend
• 암호화 ,백업 , Point-in-time-recovery (PITR) 35일

IoT 장치 정보와 시계열 데이터 저장

Amazon QLDB

• Quantum Ledger Database
• ledger = 금융 트랜잭션을 기록하는 장부
• 3개의 multi AZ
• 데이터 시간에 따른 모든 변경 내역을 검토하는데 사용
• 불변 시스템 한번 쓰면 수정 ,삭제 안됨
• 금융 트랜잭션에 매우 유용
• QLDB와 관리형 블록체인의 차이점은 탈중앙화 개념이 없다는것 Amazon 소유의 중앙 데이터베이스만 저널을 작성할수 있음

Timestream

• 시계열 데이터베이스
• 서버리스 서비스
• 시계열 = 시간정보를 포함하는 포인트의 모음
• 시계열 관련 데이터 정보일때 관계형 데이터보다 훨씬 빠르고 저렴
• 시계열 분석 기능있어 데이터 분석하고 패턴을 찾을수있다.

Iot , 운영 애플리케이션 , 실시간 분석