[아티클 읽기] LLM이란 무엇인가? (1) - 정의

[내용 정리]

0. 언어 모델(LM : Language Model) 이란

> 인간의 언어를 이해하고 생성하도록 훈련된 일종의 인공지능 모델

- 주어진 언어 내에서 패턴이나 구조, 관계를 학습하여 텍스트 번역과 같은 좁은 AI 작업에서 주로 활용되었다.

- 언어 모델의 품질은 크기나 훈련된 데이터의 양 및 다양성, 훈련 중에 사용된 학습 알고리즘의 복잡성에 따라 달라진다.

 

1. 거대 언어 모델(LLM : Large Language Model)

> 대용량의 언어 모델을 의미한다.

- 딥러닝 알고리즘과 통계 모델링을 통해 자연어 처리(NLP) 작업을 수행하는 데에 사용한다.

- 사전에 대규모 언어 데이터를 학습하여 문장 구조나 문법, 의미 등을 이해하고 생성할 수 있다.

ex. GPT4 / BERT

+) NLP :

- 인간의 언어를 이해하고 처리하는 데 초점을 맞춘 인공지능 분야

- 컴퓨터가 자연어 텍스트를 이해하고 분석하는 기술을 개발하는 것을 목표

- NLP는 문장 구분 분석, 텍스트 분류, 기계 번역, 질의 응답 시스템, 감정 분석 등과 같은 다양한 작업에 활용

- LLM은 NLP 안에서 특정한 접근 방식과 모델을 가리키는 한 가지 형태

 

2. LLM이 중요한 이유

> 다양한 유형의 소통이 필요한 언어나 시나리오에 적합하다.

 

3. LLM 및 기초 모델이 비즈니스 환경에 미치는 영향

> 작업 자동화 

> 고객 서비스 개선 

> 창의적인 콘텐츠 생성 

> 더 나은 비즈니스 의사 결정 

 

4. 언어 모델 유형

> SLM(Small LM) : 제한된 양의 텍스트 데이터를 학습하여 극소적인 문맥을 이해하는 데에 초점

> NLM(Neural LM) : 단어 임베딩, 문장 완성, 기계 번역 등 사용

> PLM(Pretrained LM) : 대규모 데이터셋으로 미리 학습되며, 이후 다양한 NLP작업에 전이학습을 통해 적용된다. BERT와 GPT와 같은 주요 모델들은 이 PLM에 속한다.

 

5. LLM에서 자주 사용하는 용어

> 단어 임베딩 : 각 단어 간의 유사성과 관계를 캡처하는 기술

> 주의 메커니즘 : 입력 시퀀스의 다양한 부분에 가중치를 부여하여 모델이 중요한 정보에 집중할 수 있도록 하는 기술

> Transformer : 주의 메커니즘을 기반으로 한 인코더와 디코더 구조의 신경망 모델로 길이가 다른 시퀀스를 처리하는 데 탁월한 성능

> fine-tuning LLMs : 사전 학습된 대규모 언어 모델을 특정 작업에 적용하기 위해 추가 학습하는 과정

> Bias(편향) : 모델이 학습 데이터의 불균형이나 잘못된 패턴을 포착하여 실제 세계의 현실과 일치않는 결과를 내놓는 경향

> 해석 가능성 : LLM이 가진 복잡성을 극복하고 AI시스템의 결과와 결정을 이해하고 설명할 수 있는 능력

 

6. LLM 작동 방식 및 원리 ___

[출처] https://www.thedatahunt.com/trend-insight/what-is-llm

LLM이란 무엇인가? - 정의, 원리, 주요 모델, 적용 사례