LLaMA2 Meta의 LLM...

회사에서 각종 Language model에 대한 이야기가 나와 오랜만에 찾아보려고 한다.

(내 마지막에 본 모델이 자연어 수업 시간에 들었던... 3-4년 전이니... 기술이 빠르게 발전하는 이 시대에는 너무 오래된 정보만 가지고 있다.)

 

 

 

 

 

Llama2

23년 2월 출시 (Meta)

연구 목적으로만 사용 가능하고 상업적으로 사용 불가했던 기존 Llama 모델과 다르게 연구/상업적 목적 사용 가능한 개방형 LLM

(학습) 기존 버전 대비 훈련 말뭉치 증가(40%), 문맥 길이 증가(2배), 출처 확인 및 할루시네이션 줄이고자 노력함

*학습 데이터에서의 한국어 사용 비율 0.06%로 한국어 추론 성능 부족(fine tune 필요, 고립어... 🤦)

 

>> 결론 : LlaMa2를 활용하기엔 좀 오바고 LlaMa2 기반 sLLM을 찾아보자.

 

Ref. A Survey of Large Language Models

 

 

물론 사전에 한국어 fine tuning한 model이 huggingface에 있다.

https://huggingface.co/psymon/KoLlama2-7b

psymon/KoLlama2-7b · Hugging Face

https://huggingface.co/kyujinpy/KO-Platypus2-7B-ex

kyujinpy/KO-Platypus2-7B-ex · Hugging Face