조달코치 이야기

AI로 교재를 만들자, 공부할 수 없는 교재가 나왔다

1,500페이지가 넘는 공공조달관리사 표준교재를 AI로 요약해 배포한 뒤, 보기 좋은 교재와 실제로 공부할 수 있는 교재의 차이를 발견하고 다시 만든 기록입니다.

AI에 역할을 나눠주고 작은 출판사처럼 교재를 만들었습니다. 결과물은 얇고 예뻤지만, 제가 직접 펼쳐 공부해보니 정작 처음 공부하는 사람이 따라갈 수 없는 교재였습니다.

작은 출판사를 차린 줄 알았습니다

공공조달관리사 시험을 준비하며 1,500페이지가 넘는 표준교재를 그대로 공부하기는 막막했습니다. 그래서 원문 추출, 요약, 출처 확인, 검수와 디자인을 여러 AI의 역할로 나눠 요약교재를 만들었습니다.

무료 스터디를 시작하겠다며 AI 요금제부터 가장 높은 단계로 올렸고, 결과물이 쌓일수록 작은 출판사를 차린 기분이었습니다. 지금 돌아보면 저는 교재보다 교재를 만드는 공정에 먼저 반해 있었습니다.

예쁜데, 공부는 안 됐습니다

첫 샘플에는 표지도 목차도 있었고 문장도 짧았습니다. 스터디 참여자들에게 먼저 배포한 뒤 제작자의 자리에서 내려와 직접 공부해봤습니다.

그제야 핵심을 남긴다고 이해에 필요한 설명까지 잘라낸 부분이 보였습니다. 낯선 용어는 맥락 없이 등장했고, 무엇보다 시험 출제기준이 아니라 표준교재의 목차를 따라 요약했습니다. 출제기준이 중요하다고 가장 크게 말한 사람이 정작 출제기준을 놓친 셈입니다.

두꺼운 공공조달 학습자료와 노트북, 빨간 수정 표시가 가득한 첫 교재 샘플이 놓인 작업대
보기 좋은 결과물과 실제로 공부할 수 있는 교재 사이의 차이를 발견한 순간

첫 교재는 실패였지만 배포는 실패가 아니었습니다

배포하지 않았다면 예쁜 목차와 디자인을 보며 오래도록 잘 만들었다고 믿었을 겁니다. 실제로 공부할 사람에게 건넨 순간, 공정의 완성도가 아니라 교재의 쓸모를 확인할 수 있었습니다.

MVP는 대충 만든 것을 빨리 내놓는 일이 아니었습니다. 가장 중요한 질문을 평가받을 수 있을 만큼 먼저 만들고 실제 사용자에게 내놓는 일이었습니다. ‘이 교재만으로 처음 공부하는 사람도 이해할 수 있는가?’에 첫 샘플은 아주 선명하게 아니라고 답했습니다.

교재를 만드는 사람보다 공부하는 사람을 기준으로 바꿨습니다

문제를 발견한 뒤에는 숨기지 않고 스터디원들에게 계획이 바뀌었다고 알렸습니다. 내용을 얼마나 많이 줄였는지가 아니라 처음 공부하는 사람이 이 자료만으로 이해할 수 있는지를 먼저 보기로 했습니다.

AI 탓으로 돌릴 일도 아니었습니다. 어떤 원문을 쓸지, 출제기준과 어떻게 연결할지, 무엇을 생성하고 어디까지 확인한 뒤 배포할지를 정하는 것은 제 몫이었습니다. 틀린 결과를 고치려면 공식 자료를 다시 읽어야 했고, 그 과정에서 저도 더 많이 공부하게 됐습니다.

실패를 숨기지 않으니 다음 교재가 남았습니다

실수를 공개하면 실망이 돌아올 줄 알았지만, 함께 오류를 찾아보겠다는 사람과 수정에 고맙다고 말해주는 사람이 생겼습니다. 보기 좋은 결과물과 실제로 공부할 수 있다는 확신 사이의 거리를 더 분명히 알게 됐습니다.

아직 이 교재가 누군가의 합격을 만들었다고 말할 단계는 아닙니다. 다만 먼저 내놓았기 때문에 빨리 틀렸고, 공개했기 때문에 다음 제작 기준으로 바꿀 수 있었습니다. 조달코치는 완성된 척하는 교재보다 실제 공부 과정에서 계속 나아지는 자료를 만들고 있습니다.