tlooto AI 디텍터 페이지의 분석 예시. 문장을 하나씩 짚어 가며 보여 줍니다.
이런 메시지를 떠올려 보세요. 한 문장도 빠짐없이 제가 직접 썼어요. 그런데 탐지기는 AI 70%래요. 교수님이 면담하자고 하십니다.
끔찍한 상황이고, 생각보다 흔합니다. 스탠퍼드 연구에서 널리 쓰이는 GPT 탐지기 7종은 비원어민이 쓴 TOEFL 에세이의 절반 이상을 AI 생성물로 잘못 분류했고, 원어민의 에세이는 훨씬 정확하게 판정했습니다 [1]. 학술 글쓰기가 요구하는 꼼꼼하고 격식 있고 잘 다듬어진 영어가 바로 많은 탐지기가 의심하는 글입니다.
탐지기가 실제로 측정하는 것
탐지기는 누가 글을 썼는지 모릅니다. 글이 얼마나 예측 가능한지를 추정할 뿐입니다. 흔한 표현, 균형 잡힌 구조, 일반적인 주장으로 이뤄진 문장은 통계적으로 모델 출력과 비슷해 보입니다. 그래서 These findings highlight the importance of adopting a holistic approach 같은 문장은 사람이 썼든 모델이 썼든 걸립니다. 아주 익숙한 방식으로 거의 아무것도 말하지 않기 때문입니다.
전체 비율 하나가 약한 증거인 이유도 여기에 있습니다. 어떤 문장이 점수를 끌어올렸는지, 왜 그랬는지가 가려지기 때문입니다.
AI 판정을 받았을 때 할 일
- 점수가 아니라 문장을 보세요. 어떤 문장이 걸렸는지 찾으세요. 사람이 쓴 초안이라면 대부분 흔한 연결 문장과 요약 문장 몇 개입니다.
- 일반론을 구체적인 내용으로 바꾸세요. 내 수치, 내 표본, 내 비교를 문장에 넣으세요. Students who used their phones more than seven hours a day had a first-semester GPA 0.21 points lower 같은 문장은 직접 분석한 사람의 글로 읽힙니다.
- 작업 과정의 증거를 남기세요. 초안, 버전 기록, 메모, 데이터 파일은 저자임을 보여 주는 가장 강력한 증거입니다. 작업하면서 틈틈이 저장해 두세요.
- 소속 기관의 AI 정책을 따르고, 요구되는 경우 도구 사용을 밝히세요. 탐지 결과는 대화를 끝내는 것이 아니라 시작하는 계기여야 합니다.
tlooto의 문장 단위 분석
tlooto AI 디텍터는 근거를 문장 단위로 보여 줍니다. 각 문장은 AI 작성 신호, 판단 보류, 신호 없음 중 하나로 표시되고, 강조된 문장을 클릭하면 왜 걸렸는지 볼 수 있습니다. 그다음 직접 고쳐 쓰거나 휴머나이저로 수정안을 받은 뒤 다시 확인하면 됩니다.
탐지기 페이지의 예시에서 걸린 문장은 모두 일반적인 문장입니다. 추세를 말하는 문장, Furthermore로 시작하는 문장, 마무리 요약 문장. 실제 결과를 담은 문장은 통과합니다. 탐지기가 알려 줄 수 있는 가장 유용한 정보가 바로 이 패턴입니다. 어차피 가장 약했던 문장을 짚어 주기 때문입니다.
참고문헌
[1] Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7). https://doi.org/10.1016/j.patter.2023.100779