컨텍스트 뜻 AI: 컨텍스트 윈도우와 토큰, AI 기억 길이의 원리
작성 · 5분 읽기 · 하트여담 편집팀 검수
핵심만 먼저AI에서 컨텍스트는 AI가 답을 만들 때 한 번에 읽는 글 전체이고, 컨텍스트 윈도우는 그 글을 담을 수 있는 최대 크기입니다. 크기는 토큰이라는 단위로 재며, 대화가 길어져 창이 넘치면 오래된 앞부분부터 밀려나 AI가 잊은 것처럼 보입니다.
컨텍스트 뜻: AI가 한 번에 읽는 글의 범위
AI에서 컨텍스트는 AI가 답을 만들 때 한 번에 참고하는 글 전체를 말합니다. 방금 보낸 메시지만 들어가는 것이 아닙니다. 처음에 정해 둔 설정, 앞서 주고받은 대화, AI가 직접 쓴 답까지 모두 들어갑니다.
컨텍스트 윈도우는 이 글을 담을 수 있는 최대 크기입니다. 창문이라는 말처럼, AI는 정해진 크기의 창으로 대화를 들여다봅니다. 창 안에 있는 글은 보이고, 창 밖으로 나간 글은 보이지 않습니다.
컨텍스트 = 지금 AI 눈앞에 펼쳐진 글 컨텍스트 윈도우 = 그 글을 펼칠 수 있는 책상의 크기
AI는 사람처럼 대화를 머릿속에 쌓아 두지 않습니다. 답할 때마다 창 안의 글을 처음부터 다시 읽고, 그 뒤에 이어질 말을 만들어 냅니다. 그래서 흔히 말하는 AI 기억 길이는 사실상 컨텍스트 윈도우의 크기를 가리킵니다.
우리 집 가사 로봇의 일기아이는 자라 집을 떠나고, 나만 그대로다.›토큰: 컨텍스트를 재는 단위
컨텍스트의 크기는 글자 수가 아니라 토큰으로 셉니다. 토큰은 AI가 글을 잘게 나눈 조각입니다. 단어 하나가 토큰 하나일 때도 있고, 한 단어가 여러 토큰으로 쪼개질 때도 있습니다. 문장부호도 토큰에 들어갑니다.
창에 토큰이 얼마나 들어가는지는 AI마다 다릅니다. 같은 문장도 AI에 따라 토큰 수가 달라집니다. 그래서 몇 글자까지 기억한다고 딱 잘라 말하기는 어렵습니다. 다만 원리는 같습니다.
- 설정을 길게 쓸수록 토큰을 많이 씁니다.
- AI가 길게 답할수록 토큰이 빨리 쌓입니다.
- 대화가 오래 이어질수록 창이 점점 찹니다.
| 컨텍스트에 들어가는 것 | 예시 | 자리를 차지하는 방식 |
|---|---|---|
| 처음 설정 | 캐릭터 성격, 세계관, 규칙 | 길게 쓸수록 커짐 |
| 내가 보낸 메시지 | 대사, 행동, 질문 | 매 턴 쌓임 |
| AI의 답 | 대사, 지문, 묘사 | 답이 길면 빠르게 쌓임 |
| 지금 입력 | 방금 친 문장 | 가장 최근이라 항상 포함 |
컨텍스트가 넘치면 앞부분이 밀려납니다
창 크기는 정해져 있는데 대화는 계속 길어집니다. 창이 가득 차면 새 글을 넣기 위해 오래된 글을 창 밖으로 밀어내야 합니다. 어떤 방식으로 정리하는지는 서비스마다 다르지만, 흔히 대화 초반부가 먼저 빠집니다.
이때 생기는 일이 AI가 잊어버렸다는 경험입니다.
초반에 "나는 왼손잡이야"라고 말했는데, 한참 뒤 AI가 "오른손으로 검을 고쳐 쥐었다"고 씁니다.
AI가 일부러 무시한 것이 아닙니다. 그 문장이 이미 창 밖에 있어서, AI에게는 처음부터 없던 말이 된 것입니다. 비어 있는 자리를 그럴듯한 말로 채우다 보면 할루시네이션처럼 사실과 다른 내용이 나오기도 합니다.
창 안에 있어도 놓치는 경우가 있습니다. 글이 아주 길면 중간에 묻힌 정보는 덜 반영될 수 있다고 흔히 말합니다. 창이 크다고 모든 내용을 똑같이 챙긴다는 뜻은 아닙니다.
비슷한 말과 차이
| 말 | 뜻 | 컨텍스트와의 관계 |
|---|---|---|
| 컨텍스트 | 지금 AI가 읽는 글 전체 | 기준이 되는 말 |
| 컨텍스트 윈도우 | 한 번에 담을 수 있는 최대 크기 | 컨텍스트의 상한선 |
| 토큰 | AI가 글을 나눈 조각 | 컨텍스트를 재는 단위 |
| 프롬프트 | AI에게 주는 지시와 입력 | 컨텍스트 안에 들어가는 일부 |
| 장기 기억 | 대화 밖에 따로 저장해 둔 요약이나 설정 | 필요할 때 컨텍스트에 다시 넣어 줌 |
프롬프트는 내가 넣는 글이고, 컨텍스트는 그 프롬프트를 포함해 AI가 보는 글 전체입니다. 장기 기억 기능이 있는 곳에서도, 저장한 내용을 컨텍스트에 다시 끼워 넣어야 AI가 그것을 읽을 수 있습니다.
흔한 오해
- AI가 대화를 전부 기억한다: 화면에 기록이 남아 있어도, AI가 답할 때 읽는 것은 창 안의 글뿐입니다.
- 창이 크면 절대 안 잊는다: 창이 커도 결국 찰 수 있고, 긴 글의 중간은 덜 반영될 수 있습니다.
- 설정은 길수록 좋다: 설정이 길면 그만큼 대화가 들어갈 자리가 줄어듭니다. 핵심만 짧게 쓰는 편이 오래 갑니다.
- 잊는 건 AI가 똑똑하지 않아서다: 대부분은 실력보다 범위의 문제입니다. 창 밖의 글은 애초에 읽을 수 없습니다.
잊는 문제를 줄이는 요령은 크게 세 가지입니다. 중요한 설정을 짧게 정리해 두고, 가끔 대화 속에 다시 적어 주고, 장면이 바뀔 때 요약을 남기는 것입니다. 캐릭터챗에서 쓰는 구체적인 방법은 AI 캐릭터챗이 앞내용을 잊을 때에서, 긴 소설을 이어 쓸 때의 방법은 AI 소설 긴 기억 유지하기에서 확인하세요.
하트여담에서 해보기
처형 30일 전, 악녀가 되었다는 재판까지 30일 동안 단서를 모아 진범을 무너뜨려야 하는 로판 재판극입니다. 대화가 길어지는 수사형 작품이지만, 단서와 수치, 남은 턴은 서버 코드가 따로 관리하고 AI는 인물의 대사와 지문만 씁니다. 그래서 앞에서 모은 단서가 AI의 기억에만 맡겨지지 않습니다. 로그인 없이 바로 시작할 수 있으니, 긴 대화 속에서 이야기가 어떻게 이어지는지 직접 확인해 보세요.
자주 묻는 질문
컨텍스트와 컨텍스트 윈도우는 같은 말인가요?
섞어 쓰는 경우가 많지만 엄밀히는 다릅니다. 컨텍스트는 지금 AI가 읽고 있는 글 자체이고, 컨텍스트 윈도우는 그 글을 담을 수 있는 최대 크기입니다. 그릇과 그릇에 담긴 내용의 차이로 생각하면 쉽습니다.
토큰 1개는 몇 글자인가요?
정해진 값은 없습니다. AI마다 글을 나누는 방식이 다르고, 같은 문장도 언어와 단어에 따라 토큰 수가 달라집니다. 글자 수로 딱 바꿔 말하기보다 글이 길수록 토큰을 많이 쓴다고 이해하면 충분합니다.
대화를 새로 시작하면 컨텍스트는 어떻게 되나요?
새 대화는 보통 빈 창에서 다시 시작합니다. 따로 저장해 두는 기능이 없다면 이전 대화 내용은 이어지지 않습니다. 이어서 하고 싶다면 앞 대화의 핵심을 짧게 요약해 첫 메시지에 넣어 주세요.
컨텍스트가 가득 찼는지 어떻게 알 수 있나요?
화면에 따로 표시되지 않는 경우가 많습니다. 초반에 정한 이름, 말투, 관계를 AI가 자꾸 틀리기 시작하면 앞부분이 밀려났다는 신호로 보면 됩니다.
AI가 잊은 설정을 다시 알려 주면 반영되나요?
네, 다시 적으면 그 내용이 창 안으로 들어오므로 다음 답부터 반영됩니다. 길게 반복하기보다 핵심만 한두 줄로 정리해 적는 편이 자리를 덜 차지합니다.