Terraform을 이용한 AWS Bedrock으로 Claude 3.5-Sonnet 서빙 해보기

최근 인공지능(AI) 모델을 활용한 서비스가 늘어나면서, 이를 효과적으로 배포하고 관리할 수 있는 인프라가 중요해지고 있다.특히 AWS Bedrock을 활용한 AI 모델 서빙은 매우 유용한 방식이다.이 글에서는 Terraform을 사용하여 AWS API Gateway와 Lambda를 통해 AWS Bedrock의 Claude 3.5 모델을 서빙하는 아키텍처를 구축하는 방법을 설명한다. 1. 아키텍처AWS에서 AI 모델을 서빙하는 인프라는 다양한 구성 요소들이 협력하여 동작한다. 이번 프로젝트에서는 AWS API Gateway, Lambda, 그리고 AWS Bedrock Claude 3.5 모델을 사용하여 AI 서빙 시스템을 구축한다. 아래는 해당 아키텍처의 주요 구성 요소이다.API Gateway: 외부에..

• format_list_bulleted Terraform
• · 2024. 10. 23.
• textsms

테라폼 주요 커맨드

terraform의 주요 커맨드는 아래와 같다.$ terraformUsage: terraform [global options] [args]The available commands for execution are listed below.The primary workflow commands are given first, followed byless common or more advanced commands.Main commands: init Prepare your working directory for other commands validate Check whether the configuration is valid plan Show changes requir..

• format_list_bulleted Terraform
• · 2024. 7. 8.
• textsms

테라폼 실행 환경 구성

테라폼 환경 구성테라폼 실행 환경을 구성하는 방법은 크게 세 가지로 나뉜다.미리 빌드된 바이너리(실행) 파일 다운로드테라폼 소스 코드를 다운로드 후 빌드OS 패키지 관리자 활용그 중, OS 패키지 관리자를 활용하여 테라폼 실행 환경 구성을 진행하겠다.테라폼 설치Terraform 사이트에 접속하여 Download Terraform을 통해 다운로드 페이지로 접속한다.그 중, 내가 사용하는 환경인 Ubuntu 환경에 맞는 패키지 매니저를 확인하여 설치한다.# wget -O- https://apt.releases.hashicorp.com/gpg | sudo gpg --dearmor -o /usr/share/keyrings/hashicorp-archive-keyring.gpgdeb [signed-by=/usr/s..

• format_list_bulleted Terraform
• · 2024. 7. 8.
• textsms

IaC와 테라폼

인프라 자동화의 성숙도 변화인프라 운영이 물리적인 자체 데이터 센터 같은 온프레미스 환경부터 클라우드 환경에 이르기까지 형태가 변화하면서, 운영하는 방식도 지속적으로 변화단계인프라 운영장점단점1매뉴얼물리적인 특성으로 즉시 확인 및 전달 가능변경 사항 반영이 어렵고 실행을 위한 별도 요소 필요2스크립트반복 작업을 줄이고 사용이 간단함순차적으로만 실행되고 시간이 지나면서 최종 상태가 일치하지 않음3가상머신미리 구성된 템플릿을 사용하여 관리와 확장이 용이함가상화 범위 외적인 요소는 자동화가 불가능하고 하이퍼바이저에 의존적4클라우드API를 통해 더 많은 인프라를 가상화하고 자동화 도구 제공클라우드 제공자마다 서로 상이한 API가 제공되어 각각을 위한 개별적 작업 필요5컨테이너상호 호환되는 컨테이너 런타임을 통해..

• format_list_bulleted Terraform
• · 2024. 7. 7.
• textsms