Ollama K8S에 배포하기

Kubernetes에 Ollama(LLM REST API)를 배포배경비즈니스와 실제 시나리오에서 서비스의 확장성과 고가용성은 매우 중요하다. Kubernetes는 이러한 작업을 조율하는 도구로 각광받고 있다. 여러 모델을 선택할 수 있는 LLM을 REST API로 배포하고 이를 확장할 수 있다면 어떨까? 하는 생각에 시도해보았다.환경Firebat AK2 PlusCPU : Intel N100RAM : 16GBstorage : 512GBOS : Rocky Linux 9배포namespaceollama_ns.yamlapiVersion: v1kind: Namespacemetadata: name: ollama$ kubectl apply -f ollama_ns.yamldeploymentollama_deploy.ya..

  • format_list_bulleted k8s
  • · 2024. 7. 4.
  • textsms

rocky linux 9 k8s 단일노드 구성

1. 필요한 패키지 설치 및 설정SELinux를 permissive 모드로 설정$ sudo setenforce 0$ sudo sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/configsetenforce 0 : 현재 세션에서 SELinux를 즉시 permissive 모드로 전환sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config : /etc/selinux/config 파일을 수정하여 재부팅 후에도 permissive 모드 유지방화벽 비활성화 (선택사항, 보안상 주의 필요)$ sudo systemctl stop firewalld$ sudo systemctl disabl..

  • format_list_bulleted k8s
  • · 2024. 7. 1.
  • textsms

ssh 서버 pem 키 생성 및 접속

리눅스 서버에서 pem 키를 생성하고 클라이언트가 ssh의 -i 옵션을 사용하여 접속할 수 있도록 설정하는 방법1. 서버에서 pem 키 생성서버에서 pem 키를 생성하려면 ssh-keygen 명령을 사용한다.$ ssh-keygen -t rsa -b 2048 -m PEM -f ~/.ssh/mykey.pem-t rsa : RSA 알고리즘 사용-b 2048 : 키 길이를 2048 비트로 설정-m PEM : PEM 형식으로 키를 생성-f ~/.ssh/mykey.pem : 키 파일의 경로와 이름을 지정2. 퍼블릭 키를 서버의 authorized_keys에 추가$ cat ~/.ssh/mykey.pem.pub >> ~/.ssh/authorized_keys3. 권한 설정~/.ssh 디렉토리와 파일의 권한을 설정$ ch..

  • format_list_bulleted 개발
  • · 2024. 7. 1.
  • textsms
kube-apiserver

kube-apiserver

쿠버네티스(Kubernetes)에서 kube-apiserver는 클러스터의 중심 역할을 한다. 아래에서 kube-apiserver의 개념, 역할, 구성 요소 및 클러스터 접근 방식에 대해 설명한다.kube-apiserver란?kube-apiserver는 쿠버네티스 클러스터의 제어 평면(Control Plane)의 핵심 구성 요소로, 클러스터의 상태를 관리하고 제어하는 역할을 한다. 모든 REST API 요청을 처리하며, 클러스터 내의 모든 컴포넌트와 통신한다. API 서버는 클러스터의 상태 정보를 etcd에 저장하고, 이를 기반으로 클러스터를 관리한다.주요 역할클러스터의 중앙 관리 지점kube-apiserver는 모든 API 요청을 처리하고, 클러스터의 상태를 관리하는 중앙 관리 지점이다. 이는 사용자,..

  • format_list_bulleted k8s
  • · 2024. 5. 15.
  • textsms
etcd

etcd

etcd는 쿠버네티스 클러스터의 상태 정보를 저장하고 관리하는 분산형 키-값 저장소이다. 이 글에서는 etcd의 개념, 역할, 구성, 설치 및 업그레이드 방법, 그리고 고가용성 설정에 대해 설명한다.etcd란?etcd는 고가용성과 일관성을 제공하는 분산형 키-값 저장소로, 쿠버네티스의 핵심 데이터 저장소로 사용된다. etcd는 모든 클러스터 데이터를 저장하며, 클러스터의 상태를 유지하기 위한 중요한 역할을 한다.주요 역할클러스터 상태 관리etcd는 쿠버네티스 클러스터의 상태 정보를 저장하고 관리한다. 이는 클러스터의 모든 구성 요소와 리소스의 상태를 영구적으로 저장하고, 이를 기반으로 클러스터를 관리한다.고가용성과 일관성 제공etcd는 Raft 합의 알고리즘을 사용하여 고가용성과 일관성을 제공한다. 이를..

  • format_list_bulleted k8s
  • · 2024. 5. 15.
  • textsms
쿠버네티스(Kubernetes)의 개요와 주요 개념

쿠버네티스(Kubernetes)의 개요와 주요 개념

쿠버네티스(Kubernetes)는 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화하는 오픈 소스 플랫폼이다. 아래에서 쿠버네티스의 주요 개념과 아키텍처, 그리고 서비스 및 네트워킹에 대해 설명한다.쿠버네티스 API 개요쿠버네티스 API는 클러스터와 상호 작용할 수 있는 기본 인터페이스를 제공한다. 사용자는 쿠버네티스 객체를 생성, 업데이트, 삭제하거나 조회할 수 있다. 쿠버네티스의 모든 기능은 API를 통해 노출되며, 이를 통해 클러스터의 상태를 제어하고 원하는 상태로 유지할 수 있다.API는 RESTful 인터페이스를 제공하며, JSON 형식으로 요청과 응답을 처리한다. 또한, 쿠버네티스 API는 버전 관리가 되며, 안정적인 API를 유지하기 위해 여러 단계의 안정성 수준(알파, 베타, 안정)..

  • format_list_bulleted k8s
  • · 2024. 5. 15.
  • textsms