앞 글에서는 문장을 다듬는 윤문 스킬을 고친 이야기를 했습니다. 문장 다음은 구성이었습니다. 에이전트와 글의 뼈대를 진단하는 스킬을 하나 더 만들었습니다. 이 스킬은 문단마다 무슨 말을 하는지 적어 개요를 거꾸로 세우고 글의 핵심 주장이 본문 어디쯤에서 처음 나오는지 잽니다. 섹션들이 독자의 질문을 하나씩 이어 받는지도 봅니다. 이 스킬을 공개 글 15편에 돌렸고 그중 11편의 구성을 고쳤습니다.
고친 글을 다시 읽어 보니 달라진 게 별로 없었습니다. 여전히 읽기 어렵고 불필요하게 자세했고 알맹이가 전달되지 않았습니다. 순서를 고쳤는데 왜 여전히 안 읽힐까요.
다시 재 보고 내린 답은 이렇습니다. 글이 안 읽힌 건 순서가 아니라 밀도 때문이었습니다. 그래서 스킬에 두 가지를 더했습니다. 문단을 덜어 낼 권한과 글을 처음 읽는 문맥 없는 독자입니다.
순서는 이미 괜찮았습니다
첫 판 스킬은 문단을 옮기고 소제목을 바꾸는 일만 했습니다. 문단은 글자 그대로 통째로 옮기고 아무것도 자르지 않는 것이 규칙이었습니다. 남기는 사실과 수치와 인용이 바뀌지 않게 하려는 규칙이었습니다. 이 스킬이 15편을 진단한 판정을 다시 모아 봤습니다.
첫 판 스킬의 판정. 구성을 고친 11편 가운데 10편은 소제목 정리였습니다.
문단을 실제로 옮겨야 한다고 본 글은 폴리글랏 글 한 편뿐이었습니다. 나머지 10편은 잘게 나뉜 섹션을 큰 섹션 몇 개로 묶고 원래 소제목을 한 단계 내리는 정도였습니다. 업스케일링을 다룬 4K 글도 큰 소제목 열 개를 질문 네 개로 묶었을 뿐 문단은 거의 그 자리에 있었습니다. 진단 보고서에는 질문의 흐름이 이미 서 있다는 말이 거듭 나옵니다. 경미 판정의 이유로 가장 자주 든 것은 질문 섹션이 너무 많다는 지적이었습니다. 문단이 놓인 순서를 문제 삼은 보고서는 거의 없었습니다.
구성을 고쳤다고 생각했지만 실제로 바뀐 것은 소제목의 층이었습니다. 진단은 순서가 괜찮다고 했고 저는 여전히 안 읽힌다고 느꼈으니 문제는 순서 밖에 있었습니다.
문단 길이는 같았고 밀도가 달랐습니다
그래서 제가 평소 읽기 편하다고 느끼는 글 두 편을 이 블로그 글과 같은 방식으로 쟀습니다. 하나는 요즘IT의 인터뷰 라인게임즈 이도행 테크니컬 디렉터 편이고 하나는 sonanlee.com의 읽기 쉬운 코드 서평입니다. 비교한 이 블로그 글은 첫 판 스킬로 고친 폴리글랏 글과 4K 글입니다. 사이트의 머리말과 꼬리말은 빼고 본문만 공백 없이 셌습니다.
처음에는 문단이 길어서 안 읽힌다고 짐작했습니다. 문단 길이의 중앙값은 폴리글랏 글이 162자, 4K 글이 160자, 인터뷰가 136자였습니다. 짧은 서평만 84자였고 나머지 셋은 비슷했습니다. 문단을 쪼개서 풀릴 문제가 아니었습니다.
크게 갈린 것은 1천 자 안에 든 영문 낱말과 숫자였습니다. 영문 낱말은 이 블로그 두 글이 19.3개와 24.4개, 인터뷰와 서평이 4.2개와 0.7개였습니다. 숫자는 4K 글이 25.3개로 인터뷰의 아홉 배가 넘었습니다. 본문 안의 외부 링크도 이 블로그 두 글에는 20개와 46개가 있었고 예시 두 편에는 하나도 없었습니다.
문단 길이는 비슷하고 밀도는 몇 배씩 차이 납니다.
제가 보기에 영문 낱말과 숫자는 하나하나가 독자에게 기억해 달라는 부탁입니다. 4K 글에서는 한 문단 안에 제품 이름과 버전과 출처가 줄지어 나왔습니다. 문단 길이가 같아도 그 안에서 붙잡아야 할 것이 몇 배 많으니 같은 길이가 더 길게 읽힙니다. 리서치에서 찾은 출처를 버리지 못한 것도 한몫했다고 봅니다. 4K 글의 자르기 목록에는 링크가 세 개 이상 달린 출처 소개 문단이 여럿 있었습니다. 찾아 둔 자료가 아까워서 본문에 한 문장씩 남긴 결과였습니다.
따라가야 할 갈래의 수도 달랐습니다. 인터뷰는 한 사람이 리더가 된 이야기 한 줄기만 따라가고 약 390자마다 독자의 질문을 대신 묻는 Q.가 나옵니다. 질문이 자주 보이니 지금 무엇에 대한 답을 읽고 있는지 놓칠 틈이 없습니다. 서평은 주장 하나와 일화 하나, 책의 문장 하나로 끝납니다. 폴리글랏 글은 핵심 주장이 본문의 4분의 3쯤 가서야 처음 나왔습니다. 번역과 언어에서 빌린 비유가 여섯 개였고 그중 셋이 한 주장을 받쳤습니다.
Paul Graham은 Writing, Briefly에서 첫 문장이 떠오르기 전에 써야 한다면 가장 중요한 문장부터 쓰라고 권합니다. 제 글은 그 문장을 뒤에 두고 앞을 이름과 숫자로 채웠습니다. 순서를 바꾸는 스킬은 그 문장을 앞으로 당길 수는 있어도 앞을 채운 양은 줄이지 못했습니다.
빼는 권한을 줬습니다
둘째 판 스킬은 옮기기 전에 자르고 옮긴 뒤에 덜어 냅니다. 먼저 문단마다 다섯 가지 중 하나로 표시를 붙입니다. 섹션의 질문이나 답을 맡은 문단은 '핵심'입니다. 한 주장을 받치는 근거 가운데 가장 강한 하나는 '근거1'이고 같은 주장의 두 번째 근거부터는 '근거+'입니다. 근거끼리는 독자가 의심할 바로 그 지점을 푸는 것을 가장 강하게 봅니다. 그다음은 구체적인 장면, 직접 만든 데모나 그림, 1차 출처 순입니다. 숫자가 붙었다고 강한 근거가 되지는 않습니다. 어느 질문에도 걸리지 않는 문단은 '곁가지'입니다. 글이 자기 순서를 예고하거나 앞 내용을 되풀이하는 문단은 '예고·재진술'입니다.
근거+와 곁가지, 예고·재진술이 자르기 후보입니다. 에이전트는 후보마다 번호와 처리안과 이유를 붙여 목록으로 냅니다. 4K 글의 목록에는 이런 줄이 있었습니다.
K14 · ¶65-66 (+timeline.svg) · 곁가지 · 12년 연표 · 제안: 삭제 · 이유: 섹션 80%가 곁가지
K22 · ¶75 · 근거1→¶78 · 업스케일링 전제 사양(Remnant 2) · 제안: 유지, 맺음으로 · 이유: 근거1(자르지 않음)에이전트가 근거+인데도 남기자고 한 줄도 있습니다. 4K 글의 셰이더 예제는 재투영과 클램핑, 누적이 한곳에 모이는 유일한 자리라서 유지를 제안했습니다. 저는 번호로 답합니다. 유지 3,7 / 나머지 제안대로처럼 씁니다. 이 방식은 anthropics/skills의 doc-coauthoring이 후보 요점에 번호를 붙여 고르게 하는 절차에서 가져왔습니다. 자르면 정보가 사라지니 무엇을 버릴지는 제가 정하고 에이전트는 후보와 이유를 냅니다.
자르고 남은 문단은 섹션마다 디테일 예산에 맞춰 덜어 냅니다. 에세이라면 섹션 하나에 핵심 수치 한두 개, 사례 하나, 남의 이름을 빌린 인용 하나, 주장마다 비유 하나입니다. 에이전트는 원문과 압축안을 쌍으로 보여 주고 압축은 빼기만 합니다. 남긴 글자는 원문과 같아야 하고 새 문장으로 빈자리를 메우지 않습니다. 4K 글의 해상도 문단은 이렇게 줄었습니다.
원문: 해상도는 가로와 세로를 곱해서 늘어납니다. 1080p는 2,073,600픽셀, 1440p는 3,686,400픽셀,
4K는 8,294,400픽셀입니다. 1080p를 기준으로 1440p는 1.78배, 4K는 정확히 4배입니다.
1440p에서 4K로 올리는 것만으로도 픽셀이 2.25배가 됩니다.
압축: 해상도는 가로와 세로를 곱해서 늘어납니다. 1080p를 기준으로 4K는 정확히 4배입니다.뺀 것은 픽셀 수 셋과 배율 둘입니다. 같은 비용을 다른 단위로 다시 말한 수치라서 4배 하나로 주장이 섭니다. 뺀 수치 가운데 픽셀 수 셋과 1.78배는 그 문단의 그림에 남아 있습니다. Julian Shapiro는 Writing Well에서 간결함을 길이가 아니라 전하는 생각 가운데 의미 있는 생각이 차지하는 비율로 봅니다. 디테일 예산은 이 원칙을 섹션마다 셀 수 있게 옮긴 규칙입니다.
마지막은 대조입니다. 문맥 없는 서브에이전트 둘이 원본과 새 판에서 주장을 하나씩 뽑고 또 다른 서브에이전트가 두 목록을 비교합니다. 원본에만 있는 주장은 모두 제가 승인한 자르기나 압축 번호와 맞아야 합니다. 번호가 붙지 않은 주장이 빠졌으면 오류로 보고 되살립니다.
4K 글은 절반 아래로 줄었습니다. 대부분은 자르기에서 빠졌습니다.
가장 많이 줄어든 4K 글은 11,722자에서 5,689자가 됐습니다. 연표, 콘솔 소식, 프레임 생성, 논란을 다룬 문단이 곁가지로 빠졌습니다. 앞 내용을 항목마다 되풀이하던 끝의 정리 섹션도 빠졌습니다. 자르기만으로 원래의 61% 가까이가 남았고 압축이 남은 문단에서 조금 더 덜어 냈습니다. SHA-256 글과 에이전트 스킬 비교 글, AI 워터마크 글도 원래의 절반 남짓으로 줄었습니다. 곁가지가 적은 글은 80~90% 안팎이 남았습니다.
절반 아래로 내려간 글은 한 번 더 확인했습니다. 잘린 근거1이 없는지, 원리를 설명하는 단계가 모두 남았는지, 남은 주장의 전제와 정의가 남았는지입니다. 4K 글은 원리의 여섯 단계가 문단째 모두 남아 있었습니다.
저는 검토 페이지에서 자르기와 압축 목록을 모두 제안대로 받았습니다. 첫 판에서 같은 양을 다른 순서로 다시 놓기만 한 것은 스킬에 덜어 낼 권한이 없어서였습니다.
독자 테스트가 가리킨 건 제목이었습니다
줄인 글이 정말 더 잘 읽히는지는 고친 쪽이 판단하면 안 됩니다. 앞 글에서 본 것처럼 언어 모델은 자기가 쓴 글에 후합니다. 그래서 문맥 없는 서브에이전트에게 글 한 편만 주고 처음 읽는 독자로서 핵심을 한 문장으로 쓰게 했습니다. 섹션마다 무슨 질문에 답하는지와 길을 잃은 곳도 적게 했습니다. 또 다른 서브에이전트가 어느 쪽이 새 판인지 모르는 채로 그 문장이 제가 정한 핵심과 얼마나 같은지 매겼습니다. 다르면 0점, 일부만 담으면 1점, 같은 뜻이면 2점입니다.
폴리글랏 글은 고친 뒤에 점수가 1.5점에서 1.0점으로 떨어졌습니다. 독자들은 제목이던 '언리얼이 C++ 대신 Verse를 선택한 이유'에 답하는 문장을 핵심으로 골랐습니다. 한 독자는 핵심을 언리얼이 C++ 대신 Verse를 고른 진짜 이유는 문법이 아니라 게임플레이 코드를 생각하는 방식(실패와 상태를 다루는 세계관)을 바꾸려는 것이라고 적었습니다. 제가 정한 핵심 문장은 여러 언어를 아는 사람의 가치가 어떻게 바뀌는지를 다뤘습니다. 핵심을 앞으로 당겨도 제목이 다른 질문을 던지니 독자는 제목의 답을 핵심으로 읽었습니다. 제가 본문 쪽을 핵심으로 고르고 다시 돌리자 원본과 새 판이 1.5점으로 같았습니다. 그 핵심에 맞춰 제목을 '코딩이 쉬워졌는데도 여러 언어를 배워야 할까?'로 바꿨습니다.
소제목에서도 같은 일이 있었습니다. 독자는 소제목을 본문보다 먼저 읽습니다.
빌린 용어를 쉬운 말로 바꾼 소제목.
'번역은 되지만 번안은 다릅니다'라는 소제목은 저도 처음 읽고 무슨 뜻인지 몰랐습니다. 번안은 소설을 영화로 만들 때처럼 새 무대에 맞게 다시 짜는 일인데 소제목만 보면 그 뜻이 보이지 않습니다. 이 소제목을 섹션이 하려는 말 그대로 바꾸고 번안이라는 말은 본문에서 처음 나올 때 풀었습니다. 스킬에도 다른 분야에서 빌린 말을 풀이 없이 소제목에 쓰지 않는다는 규칙을 넣었습니다.
독자 테스트 점수. 오른 글 7편, 같은 글 6편, 떨어진 글 2편입니다.
15편 전체로는 오른 글이 7편, 같은 글이 6편, 떨어진 글이 2편이었습니다. 스포티파이 글은 독자가 요약에 쓴 '습관'이라는 말이 기준 문장의 '구조를 짰기 때문에'와 다르다는 이유로 판정자가 점수를 깎았습니다. 4K 글은 한 독자가 요약에서 빠뜨린 구절이 새 판 본문에 그대로 남아 있어서 저는 잡음으로 봤습니다. 섹션마다 독자가 적은 질문이 새 개요의 질문과 같은지도 맞춰 봤습니다. 그림자 글에서는 독자가 두 섹션의 경계를 보지 못해 다섯 섹션 가운데 넷만 맞았습니다.
구성을 고치면 독자가 핵심을 더 잘 잡을 줄 알았는데 독자가 가장 먼저 따라간 것은 제목과 소제목이었습니다.
남은 문제
정하지 못했거나 아직 확신이 없는 것들입니다.
판정이 흔들립니다. 판정하는 서브에이전트는 거의 같은 요약에 1점을 줄 때도 있고 2점을 줄 때도 있었습니다. 글마다 독자를 두 명까지만 돌렸으니 0.5점 차이는 잡음일 수 있습니다.
절반으로 줄인 글이 더 나은지는 아직 모릅니다. 독자 테스트는 핵심이 전달되는지만 봅니다. 4K 글처럼 절반 아래로 줄인 글이 사람에게 더 잘 읽히는지는 실제 독자의 반응으로만 알 수 있습니다.
독자도 판정자도 언어 모델입니다. 고친 모델과 다른 모델을 독자로 썼지만 사람 독자와 같은 곳에서 길을 잃는지는 모릅니다. 독자들이 지루했다고 짚은 곳은 다음 수정의 후보로만 적어 뒀습니다.
구조 점검이 사실 오류 후보를 찾았습니다. 주장 대조를 하던 서브에이전트가 게임 그림자 글의 발행본에서 어긋난 곳을 찾았습니다. 햇빛에 AO를 섞는 비율이 본문 식에는 0.45로, 같은 글의 코드에는 0.55로 적혀 있었습니다. 압축에서 그 식이 빠져 지금 본문에는 코드만 남았습니다. 구성을 보려고 만든 대조가 사실 확인에도 쓰였습니다.
문장 안의 쉼표를 줄인 일은 앞 글의 업데이트에 적었습니다.
처음 질문으로 돌아가면 순서를 고쳐도 안 읽힌 것은 순서가 이미 서 있었기 때문입니다. 글을 무겁게 만든 것은 1천 자 안에 몰린 이름과 숫자, 출처와 갈래였습니다. 그것을 덜어 내려면 스킬에 자를 권한이 있어야 했습니다. 덜어 낸 글이 핵심을 전하는지는 고친 쪽이 아니라 문맥 없는 독자가 알려 줬고, 그 독자가 가장 먼저 짚은 것은 제목이었습니다.
참고 자료
글쓰기 원칙
- Paul Graham — Writing, Briefly (2005)
- Paul Graham — How to Write Usefully (2020)
- Julian Shapiro — Writing Well, Rewriting
- Larry McEnerney — The Craft of Writing Effectively (University of Chicago Leadership Lab 강연)
- George Orwell — Politics and the English Language (1946)
스킬과 도구
- anthropics/skills — doc-coauthoring
- blader/humanizer
- Panickssery, Bowman, Feng — LLM Evaluators Recognize and Favor Their Own Generations (NeurIPS 2024)
비교한 글
