Locust를 활용한 IBM watsonx.ai LLM 응답 부하 테스트

Locust는 부하 테스트를 설정하고 실행하기에 매우 유용한 도구다.Locust를 활용하면 다양한 시스템과 API에 대해 동시성 테스트를 손쉽게 진행할 수 있으며, 웹 기반 UI를 통해 실시간 성능 모니터링도 가능하다. 이번 테스트에서는 IBM watsonx.ai의 Llama 3.1-8b-instruct 모델을 사용해, 여러 사용자가 동시에 API 요청을 보냈을 때 시스템의 응답 성능을 측정했다. 1. Locust 스크립트 작성Locust의 테스트는 Python 스크립트로 작성되며, 가상의 사용자(User)와 이들이 수행할 작업(Task)을 정의한다.이를 통해 다수의 사용자가 어떻게 시스템에 접근하고, 얼마나 많은 요청을 보내는지를 시뮬레이션할 수 있다.1.1. HttpUser 클래스Locust에서 모든..