S3 Batch Operation

[정의]

단일 요청으로 기존 S3 객체에서 대량 작업을 수행하는 서비스

사용 사례가 매우 많다

• 한번에 많은 S3 객체의 메타데이터와 property 수정 가능
• 배치 작업으로 S3 버킷 간에 객체를 복사 가능
• 중요) S3 버킷 내 암호화되지 않은 모든 객체를 암호화 가능
• ACL 이나 태그 수정 가능
• S3 Glacier 에서 한 번에 많은 객체 복원 가능
• Lambda 함수 호출해 S3 Batch operation 모든 객체에서 사용자 지정 작업 수행 가능

2) 객체 목록에서 원하는 작업 무엇이든지 수행 가능

• 객체의 목록, 수행할 작업 옵션 매개 변수로 지정

 

3) 재시도를 관리하고, 진행 상황을 추적하고, 작업 완료 알람을 보내고, 보고서 생성 등이 가능

 

4) S3 inventory 라는 기능 사용하여 객체 목록을 가져오고, S3 select 를 사용해 객체를 필터링한다

 

아래 그림을 보고, 아래 순서라 생각하면 된다

 

 

1. S3 inventory 와 s3 select 사용하여 배치 작업에 포함하려는 필터링된 객체 목록을 얻는다

 

 

 

 

 

 

 

 

 

 

 

 

2. s3 batch operations 에 수행할 작업, 매개 변수와 함께 객체 목록을 전달

 

 

 

3. s3 배치가 작업을 수행하고 객체를 처리한다