[Ollama] 허킹페이스 양자화 파일을 이용한 모델 생성 gguf

 

 

 

 

 

 

 

1.허킹페이스에 들어가서 gguf 파일을 받습니다.

경로 : https://huggingface.co/Bllossom/llama-3.2-Korean-Bllossom-3B-gguf-Q4_K_M/tree/main

 

 

 

 

2. 모델파일이 필요한데요. 돌아다니는 녀석을 하나 받습니다.

 

Modelfile

0.00MB

 

 

 

 

3. CMD에서 아래의 명령을 입력해줍니다. (받은 gguf파일과  Modelfile 이 함께 있는 경로에 이동 후 입력해야 합니다.)

ollama create Llama-3.2-Korean -f Modelfile

 

모델파일이 잘못된걸 갖다 써서 오류가 났었으나 제대로 된걸로 올려드렸으니 안심하고 사용하세요~

 

 

 

4.끝