S3 Batch Operation

2024. 3. 19. 14:10·☁️Cloud/AWS
728x90
SMALL

[정의]

단일 요청으로 기존 S3 객체에서 대량 작업을 수행하는 서비스

사용 사례가 매우 많다

  • 한번에 많은 S3 객체의 메타데이터와 property 수정 가능
  • 배치 작업으로 S3 버킷 간에 객체를 복사 가능
  • 중요) S3 버킷 내 암호화되지 않은 모든 객체를 암호화 가능
  • ACL 이나 태그 수정 가능
  • S3 Glacier 에서 한 번에 많은 객체 복원 가능
  • Lambda 함수 호출해 S3 Batch operation 모든 객체에서 사용자 지정 작업 수행 가능

2) 객체 목록에서 원하는 작업 무엇이든지 수행 가능

  • 객체의 목록, 수행할 작업 옵션 매개 변수로 지정

 

3) 재시도를 관리하고, 진행 상황을 추적하고, 작업 완료 알람을 보내고, 보고서 생성 등이 가능

 

4) S3 inventory 라는 기능 사용하여 객체 목록을 가져오고, S3 select 를 사용해 객체를 필터링한다

 

아래 그림을 보고, 아래 순서라 생각하면 된다

 

 

1. S3 inventory 와 s3 select 사용하여 배치 작업에 포함하려는 필터링된 객체 목록을 얻는다

 

 

 

 

 

 

 

 

 

 

 

 


2. s3 batch operations 에 수행할 작업, 매개 변수와 함께 객체 목록을 전달

 

 

 


3. s3 배치가 작업을 수행하고 객체를 처리한다

 

LIST

'☁️Cloud > AWS' 카테고리의 다른 글

S3 CORS 개념  (0) 2024.03.19
S3 암호화 4가지 방법  (0) 2024.03.19
RDS 란?  (0) 2024.03.18
Cross-Zone Load Balancing 이란?  (0) 2024.03.15
Sticky Session 이란?  (0) 2024.03.15
'☁️Cloud/AWS' 카테고리의 다른 글
  • S3 CORS 개념
  • S3 암호화 4가지 방법
  • RDS 란?
  • Cross-Zone Load Balancing 이란?
terranbin
terranbin
Studying Computer Science
  • terranbin
    Engineer
    terranbin
  • 전체
    오늘
    어제
    • 분류 전체보기 (129)
      • ☁️Cloud (42)
        • AWS (38)
        • MS Azure (4)
      • 🐳 Infra (1)
        • System (12)
        • DRBD (3)
      • 🔌Network (8)
      • 🔹Storage (8)
      • 🔹Kubernetes (15)
      • 🔹 DevOps (8)
      • 🔹Study (4)
      • 🔹Install (6)
      • 🔹ETC (2)
      • 🔹PostMan (6)
      • 🔹Openstack (3)
      • 🔹RcloneView (6)
      • 🔹Test (0)
      • 🔹Debug (2)
      • 🔹DBMS (2)
  • 블로그 메뉴

    • 홈
  • 링크

    • sungbin
    • Github
  • 공지사항

  • 인기 글

  • 태그

    rcloneview
    AWS
    postman
    kubernetes
    S3
    EC2
    SAA
    network
    distributed load testing
    rocky9
    ceph
    OpenStack
    aws dlt
    EBS
    terraform
    centos7
    rocky8
    Google Drive
    kubectl
    설치
  • 최근 댓글

  • 최근 글

  • hELLO· Designed By정상우.v4.10.3
terranbin
S3 Batch Operation
상단으로

티스토리툴바