TechAtlas

AI & TECH

컨텍스트 창은 왜 길이만으로 설명되지 않는가

· 5분 읽기

컨텍스트 창이 길어졌다는 말은 더 많이 넣을 수 있다는 뜻이지 더 잘 쓴다는 뜻이 아니다. 길이보다 무엇을 어디에 두느냐가 결과를 가른다.

컨텍스트 창이 길어졌다는 발표는 대개 용량으로 설명된다. 그러나 실제 사용에서 결과를 가르는 것은 용량이 아니라 배치다.

넣는 것과 쓰는 것은 다르다

많이 넣을수록 관련 없는 내용의 비율도 함께 올라간다. 신호 대비 잡음이 나빠지면 창이 길어진 이득이 상쇄된다.

그래서 길이가 늘었을 때 가장 먼저 해야 할 일은 더 넣는 것이 아니라 무엇을 뺄지 정하는 것이다.

배치가 밀도를 만든다

같은 내용이라도 앞과 뒤 중 어디에 두느냐에 따라 다루어지는 정도가 달라진다. 결론과 제약을 앞에 두고 근거를 뒤에 두는 편이 안정적이다.

자주 묻는 질문

창이 길면 요약을 안 해도 되나?

넣을 수는 있지만 중요한 것이 묻힌다. 요약은 공간을 아끼는 기술이 아니라 우선순위를 드러내는 기술이다.

작성자

TechAtlas

AI와 기술을 발견하고, 이해하고, 기록합니다.