[아티클 읽기] LLM이란 무엇인가? (2) - 원리, 주요 모델, 적용 사례

[내용 정리]

1. LLM 작동 방식 및 원리

> 딥 러닝의 방식으로 방대한 양을 사전 학습한 전이 학습 모델

- 딥 러닝 기술을 사용하여 문장에서 단어와 구문을 인식하고 이를 연관시켜 언어적 의미를 파악한다.

- LLM은 문법 규칙이나 단어의 사전적 의미와 같은 구체적인 규칙은 따르지 않고 빈도수나 문법적인 특성 등을 학습하여 문맥상 올바르게 문장을 생성할 수 있다.

- 다시 말해, 문장 속에서 이전 단어들이 주어지면 다음 단어를 예측하거나 주어진 단어들 사이에서 가운데 단어를 예측하는 방식으로 작동한다.

 

2. LLM 핵심 기술

1)스케일링(Scaling up) 

- 대규모 데이터셋과 컴퓨팅 리소스를 활용하여 언어 모델의 성능을 더욱 향상시키는 것을 의미

2) 학습

- 다양한 병렬 전략이 공동으로 활용되는 LLM의 네트워크 파라미터를 학습시키기 위해 분산 훈련 알고리즘이 필요하다

3) 능력도출 

- 사전 학습을 마친 LLM은 다양한 작업을 수행할 수는 있으나 어디까지 할 수 있는지 명시적으로 알 수 없기 때문에, 적절한 작업 지침이나 특정 상황에 맞는 학습 전략을 제시한다.

4) 정렬 튜닝(Alignment Tuning)

- 기존 fine-tuning방식과 다르게 입력 문장과 레퍼런스 문장 간의 정렬 정보를 모델 학습에 이용하는 방법으로 언어 번역과 같은 작업에 유용하게 활용

5) 도구 조작

- LLM은 텍스트 형태로 잘 표현되지 않는 작업에 대해서는 성능이 떨어질 수 있으며, 사전 학습 데이터에 한정되어 있어 최신 정보를 캡쳐할 수 없는 한계도 가지고 있다. 이를 보완하고자 외부 도구를 사용하는 이론이 주목받고 있다.

ex. ChatGPT 사용시 외부 플러그인 활용

 

3. LLM 사례

1) Yoodli

> LLM을 사용해 사용자에게 텍스트 기반의 형태로 AI기반 스피치 코칭 제공

> 연설 요약, 간결성, 의역, 후속 질문 등 제공

2) Compose AI

> 타이핑 과정을 자동화하여 텍스트를 생성하고 문장을 고치거나 자동 완성 지원

3) CODE

> 표를 지능적으로 작성 및 편집할 수 있도록 도와주는 업무 도우미

 

4. 실전 LLM 구축 시 주의사항

> LLM은 막대한 계산 리소스를 사용하기 때문에, 사전 학습을 여러 번 반복하는 것이 불가능에 가깝다.

- 그래서 잘 준비된 학습 코퍼스를 구축하는 것이 중요하다 (사전 학습 데이터 품질, 분포, 양)

5. LLM 도입 시 기업이 주의해야할 점

> 명확한 목적과 전략을 수립해 AI 도입 방향성을 잘 잡아야 한다.

- 오히려 중복되는 기능들로 관리 비용이 늘어날 수 있기 때문.

> 또한 빠르게 확장되는 AI 시스템을 지원하기 위해서는 기존보다 더 많은 양의 컴퓨팅 및 스토리지 리소스 그리고 인력이 필요하다.

 

5. 결론 : LLM 비즈니스 적용을 위한 모델 경량화와 학습 데이터 품질 향상이 중요한 과제

 

[출처]  https://www.thedatahunt.com/trend-insight/what-is-llm

LLM이란 무엇인가? - 정의, 원리, 주요 모델, 적용 사례