여섯 가지 점검 항목, 두 종류의 도구. 예시 애니메이션입니다.
1,600명 이상의 연구자를 대상으로 한 Nature 설문에서 많은 응답자가 AI 도구가 자신의 연구에 중요해지거나 필수가 될 것으로 내다봤습니다 [1]. 이제 질문은 연구에 AI를 쓸지 말지가 아닙니다. 지도교수, 리뷰어, 심사위원이 어떤 주장이 어떻게 나왔는지 물을 때, 어떤 도구라면 떳떳하게 썼다고 말할 수 있느냐입니다.
이 여섯 가지 질문은 저희 도구를 포함해 어떤 도구에든 적용됩니다.
1. 주장은 어디에서 나오나요?
모델의 기억에서 나오나요, 아니면 내 질문을 위해 검색한 논문에서 나오나요? 확인할 수 있는 건 두 번째뿐입니다.
2. 모든 인용을 열어 볼 수 있나요?
모든 참고문헌은 실재하는 논문으로 연결되어야 하고, 가능하면 DOI가 있어야 합니다. 한 연구에서는 GPT-3.5 인용의 55%, GPT-4 인용의 18%가 가짜였습니다 [2]. 열어 볼 수 없다면 인용하지 마세요.
3. 답이 어떻게 만들어졌는지 볼 수 있나요?
어떤 검색을 했고, 어떤 논문을 왜 남겼나요? 볼 수 있는 과정이어야 연구 방법 절에 기술할 수 있습니다.
4. 기준을 적용하나요, 관련도 순으로 나열할 뿐인가요?
명시적 포함 기준에 따른 선별이 근거와 검색 결과를 가릅니다.
5. 글을 쓸 때도 근거가 붙어 있나요?
글을 문서로 옮기는 순간 인용이 깨진다면 오류는 따라오게 마련입니다. 초안 작성 환경에서 살아 있는 인용과 표준 인용 스타일을 지원하는지 확인하세요.
6. 후속 질문이 이미 찾은 근거 위에서 이어지나요?
실제 연구 질문은 꼬리에 꼬리를 뭅니다. 매번 처음부터 시작하는 도구는 근거도 시간도 낭비합니다.
tlooto는 이 여섯 가지 질문을 중심으로 설계되었습니다. DOI가 있는 검색된 논문, 내 기준에 따른 선별, 눈에 보이는 작업 과정, 리서치 에디터의 살아 있는 인용, 이미 모은 근거 위에서 이어지는 후속 질문. tlooto도, 검토 중인 다른 도구도 모두 같은 기준으로 따져 보세요.
참고문헌
[1] Van Noorden, R., & Perkel, J. M. (2023). AI and science: what 1,600 researchers think. Nature, 621. https://doi.org/10.1038/d41586-023-02980-0
[2] Walters, W. H., & Wilder, E. I. (2023). Fabrication and errors in the bibliographic citations generated by ChatGPT. Scientific Reports, 13. https://doi.org/10.1038/s41598-023-41032-5