[1편]회의록 중간이 통째로 사라졌다 — '요약해줘'가 실패하는 구조적 이유

마감 전날 밤 열한 시. 김 대리는 세 시간짜리 회의록 파일을 ChatGPT에 붙여 넣고 짧게 쳤습니다. "요약해 줘." 30초 만에 항목도 정돈되고 문장도 매끄러운 보고서가 나왔습니다.

다음 날 아침, 팀장이 보고서를 훑다가 멈췄습니다.

 

"3번 안건 담당자 변경됐잖아. 여기 없네?"

원본을 열어 보니 회의록 한가운데에 분명히 적혀 있었습니다. AI는 그 부분을 그냥 지나친 것이죠. '내 질문이 너무 대충이었나' 자책했다면, 오늘부터 5편에 걸쳐 그 자책을 거둬들이게 될 겁니다. 문제는 질문의 정성이 아니라 구조의 부재입니다.

AI는 동료가 아니라 '확률적 자판기'다

ChatGPT를 비롯한 대형 언어 모델은 문맥을 이해하고 생각하는 동료가 아닙니다. 입력된 단어 다음에 올 확률 높은 단어 조합을 출력하는 확률적 자판기입니다. 생각을 하지 않으니 논리를 건너뛰고, 결론을 독촉하니 그럴듯한 거짓말을 지어냅니다.
그래서 다정하게 대화하려 노력할수록 실수는 늘어납니다. 해결책은 소통이 아니라 통제입니다.

수학적 형광펜은 중간에서 옅어진다

두꺼운 부동산 계약서를 검토할 때, 첫 페이지의 목적 조항과 마지막 서명란은 또렷하게 읽히지만 중간의 세부 조항은 눈이 흐려져 놓치기 십상이죠. AI는 아예 그렇게 작동하도록 만들어져 있습니다.

학계가 '중간 소실(Lost in the Middle)'이라 부르는 현상입니다. AI는 문서 각 위치에 '수학적 형광펜(어텐션)'을 칠하는데, 처음과 끝만 진하고 중간은 옅어집니다. 실험 데이터가 이를 증명합니다.

- 정답 문서의 위치를 옮겨가며 정확도를 측정하자 U자 곡선이 나타남
- 정답이 중간에 있을 때 정확도는 최고점 대비 20% 이상 하락
- 문서를 20개 이상 쌓으면, 중간 탐색 성능이 문서를 아예 안 줬을 때보다 낮아지는 역전 현상까지 관측

비싼 최신 모델로 바꾸면 해결될까요? AI의 작업 책상인 '컨텍스트 윈도우'를 수십 배 넓혀도 같은 U자 곡선이 나왔습니다. 책상이 넓어진다고 한가운데 묻힌 서류가 저절로 눈에 띄지는 않습니다. 모델을 탓할 게 아니라 설계를 바꿔야 합니다.

증거를 대라 — 딴소리를 막는 CQSO 설계

"요약해 줘"는 기계에게 중간을 건너뛸 퇴로를 열어주는 지시입니다. 퇴로를 막는 구조는 네 블록입니다.

구성 요소	정의 및 역할	구체적 예시 및 적용 방식
C (Context)	역할과 배경 주입	"당신은 회의의 모든 의사결정을 추적하고 기록하는 프로젝트 관리 비서다."
Q (Question)	목적 고정	"회의록에서 확정 안건, 담당자 변경 사항, 잠재적 리스크를 분석하라."
S (Strategy)	구체적 처리 순서 지정	① 전체 내용을 10개 항목으로 인덱싱하라 ② 담당자 변경 및 리스크 항목은 원문 문장을 그대로 3개 이상 인용하라 ③ 해당 인용구만을 근거로 정리하라
O (Output)	출력 형식 지정	[결정사항 / 담당자 / 액션아이템] 형태로 명확히 구분하여 출력

결과를 바꾸는 지점은 S의 2단계입니다. "원문 그대로 인용하라"는 지시는 중간도 읽었음을 원문으로 증명하라는 압박이고, AI는 토씨 하나 안 틀린 문장을 가져오기 위해 흐려진 형광펜을 다시 칠하며 문서 한가운데를 샅샅이 뒤질 수밖에 없습니다. 회의록·계약서·보고서, 어디든 C와 Q만 바꿔 끼우면 됩니다.

요약 및 다음 편 예고

문서가 길수록 기계의 시야는 양끝에 몰리고, "원문 N개 이상 인용"이라는 한 줄이 어텐션을 문서 전체로 강제 확산시킵니다. 설계 비용은 한 번이지만 반복 사용의 가치는 무한합니다.

그런데 읽기를 통제했다고 쓰기까지 통제된 건 아닙니다. "마케터처럼 콜드 메일 써줘"라고 시켰더니 고객의 스팸 필터가 1초 만에 걸러낼 영혼 없는 문장이 돌아온 경험, 있으시죠? 직업 이름표를 달아주는 것과 연기 대본을 쥐여주는 것의 차이 — 그 차이가 정답률을 23.8%에서 84.2%로 갈라놓았습니다.

다음 편에서는 AI의 말투와 페르소나를 통제하는 두 가지 공식을 다룹니다.