토큰화(Tokenization)

[k9425mino]

📆 일자: 26년 8월 5일(수)

이번 키워드 스터디 주제는 '토큰화(Tokenizaiton)'와 관련된 것들입니다.

🤔 Questions

1. 토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

2. 토큰의 크기를 정하는 기준은 무엇인가요? 그리고 대표적인 토큰화 방식들을 소개해주세요.

3. 토큰 수가 많아지면 실제로 어떤 문제가 발생하며, 특히 한국어는 왜 이 문제에서 더 불리한가요?

[vvineey]

토큰은 무엇이며 LLM은 왜 텍스트를 토큰 단위로 처리하는가?

토큰(Token)이란 무엇이며, LLM은 왜 텍스트를 단어 단위가 아니라 토큰 단위로 쪼개서 처리하나요?

토큰이란?

토큰은 LLM이 텍스트를 읽고 계산할 때 사용하는 기본 처리 단위이다.
사람에게 입력은 문자열로 보이지만, 신경망은 문자열을 직접 계산할 수 없다. 따라서 토크나이저가 텍스트를 여러 토큰으로 나누고, 각 토큰을 어휘 사전에 등록한 정수 ID로 변환한다.

원문 텍스트
-> 정규화와 사전 분리 
-> 토큰화
-> 토큰 ID 변환
-> 임베딩 벡터 변환
-> Transfomer 처리
-> 다음 토큰의 확률 예측

왜 단어 단위가 아니라 토큰 단위로 처리하는가?

제한된 크기의 어휘 사전으로 모든 언어와 새로운 표현을 처리하면서, 입력 스퀸스 길이도 적절하게 유지하기 위해서이다.

밥 먹고 다시 수정할 거임