you've got to find what you love. you've got to find what you love.

colab 노트북에서 Llama 3 8B 모델 튜닝을 진행해보겠다. 코드 실행에서 GPU가 필요하기 때문에 노트북을 작성하기 전에 런타임 유형을 설정한다.        하드웨어 옵션 설명  Google Colab Pro에서 "런타임 유형 변경" 메뉴에서 선택할 수 있는 하드웨어 옵션은 다음과 같습니다:CPU:의미: 중앙처리장치(Central Processing Unit)를 사용.특징: GPU나 TPU 없이 일반 CPU만으로 연산 수행. 속도가 느리고 대규모 모델 튜닝에는 부적합.추천 여부: 현재 작업(8B 모델 튜닝)에 비추어 비추천. 메모리와 연산 속도가 부족할 가능성이 큼.T4 GPU:의미: NVIDIA T4 그래픽처리장치(Graphics Processing Unit)를 사용.특징: Colab Pro..

아래는 Meta Llama 3.1-8B Instruct 모델을 Hugging Face에서 승인받고, 로컬 환경에서 간단히 테스트하는 과정을 정리한 글입니다.이 모델은 약 16GB 정도의 파일 크기를 가지며, 사용하기 위해서는 사전 승인과 토큰 인증이 필요합니다.     1단계 : 저장소 승인받기  Meta에서 공개한 Llama 3.1 계열 모델은 Gated Repo로 설정되어 있어, 접근 권한을 따로 승인받아야 합니다.모델 페이지: meta-llama/Llama-3.1-8B-Instruct해당 페이지로 들어가면, “Request Access” 버튼을 통해 접근 권한을 요청할 수 있습니다.일반적으로 승인까지는 길면 수 시간, 짧으면 10분 안에도 완료될 수 있습니다.   승인여부는 아래에서 확인하면 된다...

Windows에서 VRAM(비디오 메모리) 사양을 확인하는 방법은 여러 가지가 있습니다. 아래 방법들을 참고하세요.DirectX 진단 도구 (dxdiag) 사용:Windows 검색창에 "dxdiag"를 입력하고 실행합니다.“디스플레이” 탭(또는 “Display” 탭)으로 이동하면 "디스플레이 메모리(Approx. Total Memory)" 항목에서 VRAM 용량을 확인할 수 있습니다.작업 관리자(Task Manager) 사용:Ctrl+Shift+Esc 키를 눌러 작업 관리자를 엽니다."성능(Performance)" 탭에서 GPU를 선택하면 오른쪽 하단에 VRAM(예: Dedicated GPU Memory) 정보가 표시됩니다.NVIDIA 제어판 사용 (NVIDIA GPU인 경우):바탕화면에서 오른쪽 클릭 ..