[Prometheus & Grafana] kube-prometheus-stack으로 프로메테우스 그라파나 설치

최근 사이드 프로젝트로 진행하는 잔디일기 운영과 GitHub PR 코드 리뷰 자동화를 위한 LLM 운영 등을 Kubernetes 클러스터에서 진행하다 보니, 각 서비스들이 원활하게 작동하는지 지속적으로 확인할 필요성을 느끼게 되었다. 특히 클러스터 내 여러 서비스들이 자원 사용량이나 상태에 따라 성능이 저하되거나 오류가 발생할 수 있기 때문에, 안정성과 성능을 유지하기 위해 모니터링이 필수적이라고 생각하게 되었다. 이로 인해 Kubernetes 환경에 적합한 Prometheus와 Grafana를 활용한 모니터링 솔루션을 구축해보기로 했다. *운영 환경은 Rocky Linux 9이다.Prometheus는 데이터를 수집하고, Grafana는 이를 시각적으로 보여주는 역할을 한다.간단하게 kube-promet..

• format_list_bulleted k8s
• · 2024. 8. 20.
• textsms

LLM을 활용한 GitHub PR 코드 리뷰 자동화

1. 시작하게 된 계기사이드 프로젝트 팀에서 우리는 코드 리뷰 프로세스의 효율성을 높이기 위해 다양한 방법을 고민하던 중이었다.팀원들은 종종 PR이 너무 많이 쌓여 시간 내에 리뷰를 완료하기 힘들다는 문제를 제기했고, 코드 리뷰를 자동화할 수 있는 방안을 모색하게 되었다.그 중, 자연어 처리 기술인 LLM(Large Language Model)을 활용해 코드 리뷰를 자동화하는 아이디어가 나왔다.LLM은 주로 텍스트 분석에 사용되지만, 최근에는 코드 이해 및 생성 능력까지 발전하고 있어, 이를 통해 PR 리뷰 과정에서 코드의 품질을 평가하고, 개선할 수 있는 피드백을 제공할 수 있을 것이라고 생각했다. 이를 기반으로 우리는 LLM을 활용한 자동화 코드 리뷰 시스템을 구축하기로 했다.2. 아키텍처이 프로젝트..

• format_list_bulleted AI
• · 2024. 8. 18.
• textsms

Ollama K8S에 배포하기

Kubernetes에 Ollama(LLM REST API)를 배포배경비즈니스와 실제 시나리오에서 서비스의 확장성과 고가용성은 매우 중요하다. Kubernetes는 이러한 작업을 조율하는 도구로 각광받고 있다. 여러 모델을 선택할 수 있는 LLM을 REST API로 배포하고 이를 확장할 수 있다면 어떨까? 하는 생각에 시도해보았다.환경Firebat AK2 PlusCPU : Intel N100RAM : 16GBstorage : 512GBOS : Rocky Linux 9배포namespaceollama_ns.yamlapiVersion: v1kind: Namespacemetadata: name: ollama$ kubectl apply -f ollama_ns.yamldeploymentollama_deploy.ya..

• format_list_bulleted k8s
• · 2024. 7. 4.
• textsms

kube-apiserver

쿠버네티스(Kubernetes)에서 kube-apiserver는 클러스터의 중심 역할을 한다. 아래에서 kube-apiserver의 개념, 역할, 구성 요소 및 클러스터 접근 방식에 대해 설명한다.kube-apiserver란?kube-apiserver는 쿠버네티스 클러스터의 제어 평면(Control Plane)의 핵심 구성 요소로, 클러스터의 상태를 관리하고 제어하는 역할을 한다. 모든 REST API 요청을 처리하며, 클러스터 내의 모든 컴포넌트와 통신한다. API 서버는 클러스터의 상태 정보를 etcd에 저장하고, 이를 기반으로 클러스터를 관리한다.주요 역할클러스터의 중앙 관리 지점kube-apiserver는 모든 API 요청을 처리하고, 클러스터의 상태를 관리하는 중앙 관리 지점이다. 이는 사용자,..

• format_list_bulleted k8s
• · 2024. 5. 15.
• textsms

etcd

etcd는 쿠버네티스 클러스터의 상태 정보를 저장하고 관리하는 분산형 키-값 저장소이다. 이 글에서는 etcd의 개념, 역할, 구성, 설치 및 업그레이드 방법, 그리고 고가용성 설정에 대해 설명한다.etcd란?etcd는 고가용성과 일관성을 제공하는 분산형 키-값 저장소로, 쿠버네티스의 핵심 데이터 저장소로 사용된다. etcd는 모든 클러스터 데이터를 저장하며, 클러스터의 상태를 유지하기 위한 중요한 역할을 한다.주요 역할클러스터 상태 관리etcd는 쿠버네티스 클러스터의 상태 정보를 저장하고 관리한다. 이는 클러스터의 모든 구성 요소와 리소스의 상태를 영구적으로 저장하고, 이를 기반으로 클러스터를 관리한다.고가용성과 일관성 제공etcd는 Raft 합의 알고리즘을 사용하여 고가용성과 일관성을 제공한다. 이를..

• format_list_bulleted k8s
• · 2024. 5. 15.
• textsms

쿠버네티스(Kubernetes)의 개요와 주요 개념

쿠버네티스(Kubernetes)는 컨테이너화된 애플리케이션의 배포, 확장 및 관리를 자동화하는 오픈 소스 플랫폼이다. 아래에서 쿠버네티스의 주요 개념과 아키텍처, 그리고 서비스 및 네트워킹에 대해 설명한다.쿠버네티스 API 개요쿠버네티스 API는 클러스터와 상호 작용할 수 있는 기본 인터페이스를 제공한다. 사용자는 쿠버네티스 객체를 생성, 업데이트, 삭제하거나 조회할 수 있다. 쿠버네티스의 모든 기능은 API를 통해 노출되며, 이를 통해 클러스터의 상태를 제어하고 원하는 상태로 유지할 수 있다.API는 RESTful 인터페이스를 제공하며, JSON 형식으로 요청과 응답을 처리한다. 또한, 쿠버네티스 API는 버전 관리가 되며, 안정적인 API를 유지하기 위해 여러 단계의 안정성 수준(알파, 베타, 안정)..

• format_list_bulleted k8s
• · 2024. 5. 15.
• textsms