Terraform을 이용한 AWS Bedrock으로 Claude 3.5-Sonnet 서빙 해보기

최근 인공지능(AI) 모델을 활용한 서비스가 늘어나면서, 이를 효과적으로 배포하고 관리할 수 있는 인프라가 중요해지고 있다.특히 AWS Bedrock을 활용한 AI 모델 서빙은 매우 유용한 방식이다.이 글에서는 Terraform을 사용하여 AWS API Gateway와 Lambda를 통해 AWS Bedrock의 Claude 3.5 모델을 서빙하는 아키텍처를 구축하는 방법을 설명한다. 1. 아키텍처AWS에서 AI 모델을 서빙하는 인프라는 다양한 구성 요소들이 협력하여 동작한다. 이번 프로젝트에서는 AWS API Gateway, Lambda, 그리고 AWS Bedrock Claude 3.5 모델을 사용하여 AI 서빙 시스템을 구축한다. 아래는 해당 아키텍처의 주요 구성 요소이다.API Gateway: 외부에..

• format_list_bulleted Terraform
• · 2024. 10. 23.
• textsms

테라폼 주요 커맨드

terraform의 주요 커맨드는 아래와 같다.$ terraformUsage: terraform [global options] [args]The available commands for execution are listed below.The primary workflow commands are given first, followed byless common or more advanced commands.Main commands: init Prepare your working directory for other commands validate Check whether the configuration is valid plan Show changes requir..

• format_list_bulleted Terraform
• · 2024. 7. 8.
• textsms

테라폼 실행 환경 구성

테라폼 환경 구성테라폼 실행 환경을 구성하는 방법은 크게 세 가지로 나뉜다.미리 빌드된 바이너리(실행) 파일 다운로드테라폼 소스 코드를 다운로드 후 빌드OS 패키지 관리자 활용그 중, OS 패키지 관리자를 활용하여 테라폼 실행 환경 구성을 진행하겠다.테라폼 설치Terraform 사이트에 접속하여 Download Terraform을 통해 다운로드 페이지로 접속한다.그 중, 내가 사용하는 환경인 Ubuntu 환경에 맞는 패키지 매니저를 확인하여 설치한다.# wget -O- https://apt.releases.hashicorp.com/gpg | sudo gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpgdeb [signed-by=/usr/s..

• format_list_bulleted Terraform
• · 2024. 7. 8.
• textsms