AI와 글 다듬기 · 1편

왜 AI가 고친 문장은 티가 날까

·11분·English
목차다듬을수록 AI 같아진 문장시중 도구가 잡는 것과 놓치는 것멈출 자리와 검사할 사람을 바꾸다패턴 0도, 탐지기 점수도 아닌 목표고친 쪽이 검사하면 안 되는 이유실제 전후남은 문제참고 자료

이 블로그의 글은 제가 터미널의 에이전트와 같이 씁니다. 에이전트와 함께 윤문 스킬 하나를 만들어 그때까지 쓴 글을 한 편씩 다듬었습니다. 계기는 글이 묘하게 번역투처럼 읽힌다는 느낌이었습니다. 한국어 글 12편을 세어 보니 ~것입니다가 79번, ~셈입니다가 16번 나왔습니다. 윤문을 마치고 다시 세자 것입니다는 13번, 셈입니다는 0번이었습니다.

숫자로는 성공이었는데 다시 읽어 보니 고친 자리 몇 군데가 전보다 더 AI가 쓴 글처럼 읽혔습니다. 이 글은 그 이유를 찾아 스킬을 다시 고친 기록입니다.

다듬을수록 AI 같아진 문장

스포티파이 글에는 2014년 스포티파이 엔지니어링 문화 영상의 한 줄을 옮긴 문단이 있습니다. 영어 원문을 이탤릭으로 적고 바로 뒤에 우리말로 풀었습니다.

윤문 전에는 이랬습니다.

다만 영상은 이 표 바로 다음에 대가도 함께 적었습니다. one consequence of autonomy is that we have very little standardization. 자율의 결과 중 하나로 표준화가 아주 적다는 것입니다.

윤문 뒤(커밋 2d5d66f)에는 마지막 문장 하나만 바뀌었습니다.

자율의 결과 중 하나로 표준화가 아주 적다는 뜻입니다.

스포티파이 글의 한 문장을 윤문 전과 뒤로 위아래에 놓은 그림. 맨 위에 영상의 말인 영어 원문 one consequence of autonomy is that we have very little standardization.이 있고, 그 아래 원문 줄은 '자율의 결과 중 하나로 … 것입니다', 윤문 후 줄은 '자율의 결과 중 하나로 … 뜻입니다'입니다. 바뀐 글자 '것'과 '뜻'이 강조돼 있고 '한 글자만 바뀌었다'고 적혀 있습니다. 원문 줄에는 '말한 이: 영상', '영상이 한 말을 전한다', 윤문 후 줄에는 '말한 이: 나', '내 해석처럼 읽힌다'가 붙어 있습니다.

~다는 것입니다는 번역투이긴 해도 남의 말을 전하는 끝맺음으로 읽힙니다. ~다는 뜻입니다로 바꾸자 영상이 한 말을 제가 풀이해 주는 문장이 됐습니다. 표준화가 적다고 말한 것은 영상이고 저는 그 말을 옮겼을 뿐인데 문장만 보면 말한 사람이 저로 바뀌었습니다. 이 글을 쓰면서 그 문장을 표준화가 아주 적다고 했습니다로 고쳤습니다.

한 번으로 끝나지 않았습니다. 윤문을 마친 뒤 한국어 12편을 다시 세자 ~다는 뜻입니다가 13번 나왔고 그중 5번이 스포티파이 글이었습니다. 제가 보기에는 것입니다를 지운 자리에 다른 공식이 들어섰습니다.

그래서 제목의 질문에 지금 제가 내린 답은 두 가지입니다.

첫째, 패턴을 지우는 윤문은 빈자리를 새 패턴으로 채웁니다. 것입니다를 지우면 문장을 맺을 다른 말이 필요하고 모델은 가장 무난한 끝맺음을 고릅니다. 제 글에서는 그게 ~다는 뜻입니다 같은 결산 공식이었습니다. 문장 길이를 고르게 맞추고 문단 끝에 짧은 정리 문장을 붙이는 버릇도 같은 방향으로 작동합니다.

둘째, 고친 쪽이 스스로 검토하면 그 새 패턴이 잘 보이지 않습니다. 처음 스킬에도 고친 문장을 원문과 한 문장씩 맞춰 보는 단계가 있었지만 그 검토는 고친 에이전트가 직접 했습니다. 스포티파이 문장은 그 검토를 통과했고 그날 마지막 리뷰에서도 걸리지 않았습니다.

다른 도구에서도 다듬은 글이 더 AI 같아지는 일이 있었습니다. 제가 본 영어 윤문 스킬 가운데 별이 가장 많은 humanizer를 두고 Ryan Lenk가 블라인드 비교 실험 결과를 이슈 #229로 올렸습니다. 언어 모델 심사자들에게 누가 썼는지 알리지 않고 두 글을 비교하게 했더니 humanizer로 고친 글이 원래 모델 출력보다 16번 중 16번 더 좋다는 평을 받았습니다. 그런데 심사자들이 AI 티로 꼽은 횟수를 갈래별로 세자 결과가 갈렸습니다.

humanizer로 고치기 전과 뒤에 LLM 심사자가 AI 티로 지목한 횟수를 시작점과 끝점을 잇는 화살표 세 줄로 그린 그림. AI 어휘는 70에서 0으로 줄어 '지움', 고른 리듬은 60에서 101로 41 늘고, 경구식 마무리는 38에서 61로 23 늘어 둘 다 '새로 늘어남'이라고 적혀 있습니다. 아래에 출처(blader/humanizer 이슈 #229, Ryan Lenk)와 같은 실험에서 문장부호 티는 60에서 0이 됐다는 주석이 있습니다.

단어 목록에 있는 티는 사라지고 목록에 없는 리듬의 티가 늘었습니다. 실험한 사람은 이렇게 해석했습니다. My read is that a subtractive rewrite makes prose more uniformly well-shaped, and uniform good shape is itself a tell. 빼는 방식으로 고치면 글이 고르게 잘 다듬어지고 그 고른 모양 자체가 티가 된다는 해석입니다. 심사자가 모두 같은 계열의 언어 모델이었고 계획한 144번 가운데 77번만 돌렸다는 한계도 본인이 함께 적었습니다.

시중 도구가 잡는 것과 놓치는 것

스킬을 다시 고치기 전에 에이전트와 함께 시중의 윤문 스킬과 문체 검사기를 열어 봤습니다.

별이 100개가 안 되는 한국어 스킬도 여럿 봤습니다. humanizer-ko는 ~다는 뜻이다를 포함한 결산 공식을 따로 묶어 두고 있어서 제 스킬의 결산 공식 규칙은 여기서 가져왔습니다.

세로는 도구, 가로는 한국어 번역투, AI 어휘와 상투구, 리듬과 구조, 뜻과 사실 보호, 기계 검사, 회귀 테스트, 과교정 경보, 문맥 없는 대조의 여덟 칸인 매트릭스. 도구는 anthropics/skills, blader/humanizer, stop-slop, im-not-ai, Vale와 vale-ai-tells, avoid-ai-writing, write-good·alex·proselint, unslop, patina, 그리고 맨 아래 이 블로그의 polish-post이고, 칸마다 '다룬다', '일부만', '놓치거나 없다고 적혀 있음', 빈칸(근거 없음)으로 표시돼 있습니다. humanizer의 리듬 칸에는 60→101이 적혀 있습니다.

대부분은 단어와 구문의 목록을 세거나 지웁니다. AI 어휘, 대시, 상투어는 잘 잡습니다. 리듬처럼 글 전체에서 생기는 티는 '문장 길이를 섞어라' 같은 규칙 문장으로만 있는 경우가 많았습니다. 숫자로 재는 곳은 문장 길이 분산을 보고하는 unslop과 대구·대조 구문이 한꺼번에 사라지면 경고하는 im-not-ai 정도였습니다.

뜻을 지키는 장치는 더 드물었습니다. humanizer는 원문의 주장을 모두 지키라고 하면서도 모델이 사실이라고 여기는 구체적인 내용을 더하는 것은 허용합니다. 제 블로그에서는 확인하지 않은 사실이 끼어드는 것을 가장 경계하기 때문에 이 부분은 따르지 않았습니다. 이 영역에서 가장 앞선 것은 im-not-ai였습니다. 핵심 명사를 고치기 전에 적어 두고 그것이 빠지면 되돌리는 장부, 추측·의무 표현 소실 검사, 글자 변경률이 30%를 넘으면 경고하고 50%를 넘으면 멈추는 문턱이 있습니다. 제 스킬의 변경률 문턱과 몇몇 경고는 여기서 착안했습니다.

멈출 자리와 검사할 사람을 바꾸다

패턴 0도, 탐지기 점수도 아닌 목표

다시 고칠 스킬의 목표부터 바꿔야 했습니다. 처음 스킬에는 어디까지 줄일지 정한 기준이 없어서 신호가 보이면 지우는 쪽으로만 움직였습니다.

AI 탐지기 점수를 목표로 삼는 방법도 있지만 쓰지 않기로 했습니다. Liang 외(2023)는 탐지기 7종이 비원어민이 쓴 TOEFL 에세이를 평균 61.22% AI 글로 잘못 잡는다고 보고했습니다. 점수를 낮추려고 문장을 고치다 보면 사실을 버리게 됩니다.

대신 고른 목표는 제 글의 범위입니다. 이 블로그의 공개 글에서 패턴마다 1000자당 몇 번 나오는지를 재고, 고친 글이 그 범위 안에 들어오면 멈춥니다. 비교 스크립트에 --baseline을 주면 그 범위를 보여 줍니다. 아래에는 이 글을 쓰며 실제로 돌린 출력에서 0이 아닌 줄만 남겼습니다.

$ node scripts/polish-compare.ts --baseline ko
작성자 기준선 (ko, 공개 글 11편, 1000자당 p10 · 중앙값 · p90)
  것입니다: 0 · 0 · 0.25
  에 대한: 0 · 0 · 0.15
  에 대해: 0 · 0 · 0.11
  것이었습니다: 0 · 0 · 0.07
  다는 뜻입니다: 0 · 0.1 · 0.16
  라는 뜻입니다: 0 · 0 · 0.11
  다는 점입니다: 0 · 0 · 0.15
  로 이어집니다: 0 · 0 · 0.1
  어미 뒤 쉼표: 4.82 · 5.55 · 6.97

나머지 21개 패턴(셈입니다 등)은 세 값이 모두 0이었습니다. 1000자는 공백을 뺀 글자 수이고 비교하는 글 자신은 기준선에서 뺍니다. 문구 패턴 가운데 중앙값이 0이 아닌 것은 다는 뜻입니다(0.1) 하나뿐입니다. 기준선으로 봐도 처음에 본 결산 공식이 지금 제 글에 가장 흔하게 남은 버릇입니다. 연결어미 뒤 쉼표(-고, -며, -지만, 같은 것)는 성격이 달라서 1000자당 5개 안팎이 제 범위입니다.

작성자 기준선을 띠로 그린 그림 두 줄. 위는 결산 공식 '~다는 뜻입니다'로, 1000자당 p10 0, 중앙값 0.1, p90 0.16의 띠가 있고 그 오른쪽은 '덜 고침, 범위 위'입니다. p10이 0이라 과교정 경보는 없다고 적혀 있습니다. 아래는 연결어미 뒤 쉼표로, p10 4.82, 중앙값 5.55, p90 6.97의 띠가 있고, 오른쪽은 '덜 고침', 왼쪽으로 p10의 절반인 2.41 아래는 '과교정 경보'입니다.

범위보다 위면 덜 고친 것이고 범위 안이면 더 줄이지 않습니다. 범위의 아래 끝(p10)의 절반 밑으로 떨어지면 [경고] overcorrect를 냅니다. 지운 자리 중에 규칙이 남기라고 한 경우가 있는지 다시 보라는 경고입니다.

고친 쪽이 검사하면 안 되는 이유

Panickssery, Bowman, Feng(NeurIPS 2024)은 언어 모델이 평가자로 나서면 자기가 쓴 글을 알아보고 더 좋게 평가한다는 것을 보였습니다. 자기 글을 알아보는 능력이 높을수록 자기 글을 선호하는 정도도 함께 올라갔습니다. 이 결과대로라면 고친 에이전트에게 결과를 검토하게 할 때 자기 글에 후한 심사자를 쓰게 됩니다.

이 블로그에도 기록이 있습니다. 윤문을 마친 그날 마지막 리뷰에서 뜻이 어긋난 문장들을 되돌렸습니다(커밋 5d6c813). 사탕 같은 블록 글에서는 무늬도 같은 비율로 줄인 셈입니다가 무늬도 줄였습니다가 되면서 '같은 비율로'가 빠졌습니다. 콜 오브 듀티 글에서는 다른 점은이 다만이 되면서 원문에 없던 대조가 생겼습니다. 둘 다 고친 에이전트의 자기 검토를 지나간 문장입니다.

그래서 원문 대조를 새 에이전트에게 맡겼습니다. 방식은 이렇습니다.

  1. 바뀐 문장만 원문과 짝지어 번호를 붙입니다. 어느 쪽이 원문인지 적지 않고 A와 B로만 둡니다. 지운 문장은 B를 '(삭제)'로 둡니다.
  2. 새 서브에이전트를 띄워 그 쌍과 질문 세 개만 줍니다. 가능하면 윤문한 모델과 다른 모델을 씁니다. 규칙 파일도, 글 제목도, 윤문했다는 사실도 알려 주지 않습니다.
  3. 질문은 같은 주장인가(사실, 수치, 대상, 인과), 같은 확신도인가(추측, 가능, 의무 표현이 한쪽에만 있지 않은가), 같은 화자인가(누구의 말이나 평가인지)입니다. 문장이 좋은지는 묻지 않습니다.
  4. 어긋났다고 나온 쌍은 원문으로 되돌리거나 어긋난 부분만 고치고 고친 쌍은 또 다른 새 에이전트에게 다시 판정받습니다.

원문 대조의 흐름도. 왼쪽 고친 에이전트는 원문, 규칙 파일, 글 제목과 맥락, 자기가 고쳤다는 사실을 알고 있어서 스스로 검토하지 않습니다(자기 선호 편향). 가운데는 바뀐 문장만 번호를 붙인 A·B 쌍이고, 2번 쌍이 '…적다는 것입니다.'와 '…적다는 뜻입니다.'입니다. 어느 쪽이 원문인지는 적지 않습니다. 오른쪽 문맥 없는 대조 에이전트는 새로 띄우고 가능하면 다른 모델을 쓰며, 규칙 파일, 글 제목, 윤문했다는 사실 없이 A·B 쌍과 세 질문(같은 주장, 같은 확신도, 같은 화자)만 받습니다. 돌려받는 것은 어긋난 번호뿐이고, 예로 '2 | 화자 | 영상의 말이 내 해석이 됨'이 돌아와 2번만 원문으로 되돌립니다.

처음에 본 스포티파이 문장을 여기에 넣으면 세 번째 질문에 걸려야 합니다. A는 영상의 말을 전하고 B는 그 말을 제가 풀이합니다. 문맥 없는 쪽이 이 차이를 실제로 잡아내는지는 아직 재 보지 않았습니다.

실제 전후

스킬을 고치면서 git 기록의 윤문 커밋에서 전후 쌍을 뽑아 회귀 코퍼스를 만들었습니다. 글 11편의 한국어판과 영어판, 모두 22쌍입니다. 그중 9쌍에는 5d6c813에서 바로잡은 판(fixed)이 따로 있습니다. 테스트는 받아들인 윤문에 [오류]가 없는지, 5d6c813이 고친 어긋남 가운데 기계로 잡을 수 있는 두 건을 경고가 잡는지 확인합니다.

첫 예는 콜 오브 듀티 글입니다.

  • 윤문 전: 다른 점은 이제 픽셀마다 이웃을 모른 채 제 몫을 따로 정한다는 것입니다.
  • 윤문 뒤: 다만 이제는 픽셀마다 이웃을 모른 채 제 몫을 따로 정합니다.
  • 바로잡은 판: 달라진 점은 이제 픽셀마다 이웃을 모른 채 제 몫을 따로 정한다는 것입니다.

윤문 전과 뒤를 지금의 비교 스크립트에 넣으면 이렇게 나옵니다.

$ node scripts/polish-compare.ts tests/fixtures/polish/where-call-of-duty-draws-harder/ko/before.mdoc tests/fixtures/polish/where-call-of-duty-draws-harder/ko/after.mdoc
[경고] 2건
  number: 사라짐: "1/16" / 생김: "2", "16", "1", "1"
  connective: 다른 점은 이제 픽셀마다 이웃을 모른 채 제 몫을 따로 정한다는 것입니다. → 다만 이제는 픽셀마다 이웃을 모른 채 제 몫을 따로 정합니다. (생김: "대조")

패턴 (전 → 후, 1000자당 · 작성자 p10–p90)
  것입니다: 5 → 0 (4.67 → 0 · 0–0.25)
  에 대한: 2 → 2 (1.87 → 1.88 · 0–0.15)
  어미 뒤 쉼표: 7 → 7 (6.54 → 6.57 · 4.82–6.97)
어미 뒤 쉼표/문장: 0.24 → 0.24

변경률: 20.7% (문장 29개 중 6개)

connective는 원문에 없던 인과나 대조가 생겼다는 경고입니다. 바로잡은 판과 비교하면 이 경고는 사라지고 '½에서 1/16까지'를 '2분의 1에서 16분의 1까지'로 바꾼 number 경고만 남습니다.

두 번째 예는 스포티파이 글의 윤문 전후입니다. 지금 스크립트는 처음에 본 문제를 숫자로 보여 줍니다.

$ node scripts/polish-compare.ts tests/fixtures/polish/spotify-startup-spirit/ko/before.mdoc tests/fixtures/polish/spotify-startup-spirit/ko/after.mdoc
바뀌면 안 되는 것: 문제 없음

패턴 (전 → 후, 1000자당 · 작성자 p10–p90)
  것입니다: 9 → 0 (2.15 → 0 · 0–0.25)
  셈입니다: 3 → 0 (0.72 → 0 · 0–0)
  다는 뜻입니다: 0 → 2 (0 → 0.48 · 0–0.16)
  라는 뜻입니다: 1 → 1 (0.24 → 0.24 · 0–0.11)
  어미 뒤 쉼표: 21 → 21 (5.03 → 5.04 · 4.82–6.97)
어미 뒤 쉼표/문장: 0.26 → 0.26

변경률: 23.2% (문장 82개 중 19개)

것입니다는 범위 위에서 0으로 내려왔고 다는 뜻입니다는 0에서 2로 늘어 범위 위(0.48)로 올라갔습니다. 그런데 첫 줄은 '문제 없음'입니다. 말한 사람이 바뀐 것은 기계 검사가 잡지 못했습니다.

사탕 같은 블록 글의 '같은 비율로'도 마찬가지입니다. 같은 스크립트에 넣으면 바뀌면 안 되는 것: 문제 없음이 나옵니다. 빠진 말이 평범한 부사어라서 부사어가 빠질 때마다 경고하면 보고서가 경고로 덮입니다. 테스트 파일에도 이 경우와 조사 선택, 주어와 서술어 호응 같은 어긋남은 정규식으로 잡을 수 없어 문맥 없는 대조 에이전트에게 남긴다고 적어 뒀습니다.

남은 문제

정하지 못했거나 정했지만 확신이 없는 것들입니다.

기준선의 출발점. 기준선을 잰 공개 글 11편은 모두 한 번 윤문을 거친 글입니다. 그러니 이 범위는 윤문 전의 제 글이 아니라 윤문을 거쳐 제가 받아들인 글의 범위입니다. 다는 뜻입니다의 중앙값이 0이 아닌 것도 윤문이 남긴 흔적일 수 있다고 봅니다.

업데이트(2026년 11월 15일): 쉼표는 기준선을 버렸습니다. 위의 걱정이 쉼표에서 먼저 드러났습니다. 다시 읽어 보니 제 글은 쉼표가 너무 잦았고 기준선 자체가 쉼표 많은 쪽으로 치우쳐 있었습니다. 그래서 쉼표만은 기준선 대신 목표치를 따로 두었습니다. 쉼표가 든 문장은 30% 이하로 두고 한 문장에 쉼표를 둘 넘게 쓰는 것은 항목을 셋 넘게 나열할 때만 허용합니다. 공개 글 15편에 적용하니 쉼표가 든 문장이 글마다 30~46%에서 8~19%로 줄었습니다. 대부분은 쉼표만 뺐고 50곳 남짓은 문장을 둘로 나눴습니다.

대조 에이전트의 효과. 이전 판과 새 판 스킬로 코퍼스를 각각 윤문해 블라인드로 비교하는 절차는 스킬에 적어 뒀지만 아직 돌려 보지 않았습니다. 대조 에이전트가 5d6c813의 어긋남을 실제로 몇 개나 잡는지도 그때 알게 됩니다.

처음 질문으로 돌아가면 제가 찾은 답은 두 가지였습니다. 지운 자리를 새 패턴이 채우고 고친 쪽은 그 새 패턴을 잘 보지 못합니다. 앞의 것은 이제 제 글의 기준선에 대 보며 셀 수 있습니다. 뒤의 것은 문맥 없는 대조 에이전트에게 맡겼지만 그 대조가 실제로 얼마나 잡아내는지는 위의 블라인드 비교를 돌려 봐야 압니다.

참고 자료

윤문·AI 문체 스킬

문장 린터

AI 탐지기와 평가 연구

맞춤법