PEFT: Parameter-Efficient Fine-Tuning

PEFT(Parameter-Efficient Fine-Tuning)는 대규모 사전 학습된 모델을 조금만 수정해서 특정 작업에 적합하도록 만드는 기법이다.요즘 AI 모델은 매우 크고 복잡해서, 모든 파라미터를 다시 학습하는 것은 시간과 자원이 너무 많이 들기 때문에, PEFT는 전체 모델을 다시 학습하지 않고, 필요한 부분만 효율적으로 조정하는 것을 목표로 한다. PEFT에는 여러 가지 기법이 있는데, 여기서는 대표적인 Adapter, LoRA, Prefix Tuning, Prompt Tuning에 대해 알아볼 것이다. 추가적으로, 나는 예시를 들어 이해하는 것이 편리했기 때문에, 예시 문구도 함께 추가했다.PEFT1. AdapterAdapter는 사전 학습된 모델의 각 층에 작은 모듈을 추가하는 방식이다..

• format_list_bulleted AI
• · 2024. 9. 10.
• textsms

LLM을 활용한 GitHub PR 코드 리뷰 자동화

1. 시작하게 된 계기사이드 프로젝트 팀에서 우리는 코드 리뷰 프로세스의 효율성을 높이기 위해 다양한 방법을 고민하던 중이었다.팀원들은 종종 PR이 너무 많이 쌓여 시간 내에 리뷰를 완료하기 힘들다는 문제를 제기했고, 코드 리뷰를 자동화할 수 있는 방안을 모색하게 되었다.그 중, 자연어 처리 기술인 LLM(Large Language Model)을 활용해 코드 리뷰를 자동화하는 아이디어가 나왔다.LLM은 주로 텍스트 분석에 사용되지만, 최근에는 코드 이해 및 생성 능력까지 발전하고 있어, 이를 통해 PR 리뷰 과정에서 코드의 품질을 평가하고, 개선할 수 있는 피드백을 제공할 수 있을 것이라고 생각했다. 이를 기반으로 우리는 LLM을 활용한 자동화 코드 리뷰 시스템을 구축하기로 했다.2. 아키텍처이 프로젝트..

• format_list_bulleted AI
• · 2024. 8. 18.
• textsms

프롬프트 엔지니어링

프롬프트 엔지니어링목차프롬프트 엔지니어링이란?프롬프트 엔지니어링 기본 원칙멀티 턴 vs 싱글 턴프롬프트 엔지니어링 기법Few Shot역할 지정 기법마크다운 활용 기법후카츠 프롬프트 기법형식 지정 기법슌스케 템플릿 기법Q&A 기법이어쓰기 기법Chain of Thought(사고의 연쇄) 기법멀티 페르소나 기법할루시네이션 유도 기법ReAct(리액트) 기법자연스러운 한국어 문장 만들기할루시네이션 줄이기프롬프트 엔지니어링이란?좋은 프롬프트를 설계하는 것프롬프트 : 인공지능에게 전달하는 질문이나 지시언어 모델은 앞서 제공되는 맥락으로부터 결과를 도출하려고 함(인컨텍스트 러닝)프롬프트 엔지니어링 기본 원칙1. 구체적 지시-> 프랑스 스타일로 나무에 대한 시 X-> 형식의 완전성을 추구하는 프랑스 스타일로 '숲 속 깊..

• format_list_bulleted AI
• · 2024. 2. 8.
• textsms

Jetson nano(eMMC) USB 부팅 및 OpenCV, PyTorch, Torchvision 설치

eMMC가 16GB라서 Jetpack 설치가 안되는 상황이 생겼다.이것 저것 여러 방법들을 해보던 중 성공한 방법인 usb로 부팅하는 방법을 기록한다.참고로 host pc의 os가 리눅스이어야 한다.참고기본 os 설치 : http://www.yahboom.net/study/jetson-nanousb 설정 : https://github.com/jetsonhacks/bootFromUSB, https://jetsonhacks.com/2021/03/10/jetson-nano-boot-from-usb/1. Jetson nano에 기본 OS 설치1.1. SDK Manager 설치 및 실행https://developer.nvidia.com/drive/sdk-manager에 접속하여 SDK Manager를 다운로드설치..

• format_list_bulleted AI
• · 2023. 1. 5.
• textsms

Jetson Xavier NX jtop, PyTorch 및 Torchvision 설치

아래 단계를 완료한 후의 글이다.Jetson Download Center에서 해당되는 버전의 이미지를 다운받는다.(Jeson Xavier NX Devloper Kit SD Card Image (Jetpack 5.0.2)를 사용했다.)etcher나 rufus를 사용해 sd카드에 이미지를 쓰고 Jetson에 꽂고 부팅한다.부팅이 되면 설치 및 설정을 완료한다.1. jtopJetson 시스템을 모니터링 하기위해 설치하는 패키지이다.1.1. 설치# 처음엔 pip가 설치되어있지 않다.$ sudo apt-get install pip# jtop은 설치할때 패키지 이름이 다르다.$ sudo -H pip install -U jetson-stats$ sudo reboot1.2. 실행$ jtop시스템 상태 조회, 설정 등을..

• format_list_bulleted AI
• · 2022. 11. 11.
• textsms

[Ubuntu 20.04] Yolo mark 설치

[Ubuntu 20.04] Yolo mark 설치yolo mark를 설치 하기 전, opencv가 필요하다.1. OpenCV 설치1.1. 빌드 필수 패키지 설치$ sudo apt-get install build-essential cmake pkg-config -y$ sudo apt-get install libjpeg-dev libtiff5-dev libpng-dev ffmpeg libavcodec-dev libavformat-dev libswscale-dev libxvidcore-dev libx264-dev libxine2-dev libv4l-dev v4l-utils libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgtk-3-dev mesa-utils ..

• format_list_bulleted AI
• · 2022. 9. 21.
• textsms