
(*이 글을 스크롤의 압박이 있으니 시간을 가지고 읽어보시면 좋습니다)
(**핵심만 원하시는 분은 4번으로 바로 가세요)
안녕하세요 소향입니다.
월부월백 강의를 들으시면서 블로그 글 작성을 하다보면
가장 많이 궁금해지는 지점이 바로 이 부분이실 것 같습니다.
‘어떤 AI가 글을 잘 써줄까?’
사실 요즘은 어떤 AI를 써도 수준 이상으로 글을 잘 작성해주고
무료 사용으로도 충분하다고 느껴져요.
그런데 우리는 이미지도 만들어야하고, 글도 많이 써야하고…@.@
사용량 한도를 초과할 때가 많죠.
‘결국 유료 결제를 해야하나?’
‘기왕이면 좀 좋은 AI를 쓰고 싶은데…’
이런 마음이 드실 수 있을 것 같습니다.
그래서 제가 ChatGPT(챗GPT), Claude(클로드), Gemini(제미나이)
유료 모델들 비교해봤습니다.
왜냐? 저는 결국 셋 다 구독해 버렸거든요… ㅎ..ㅎ
뭐 어쩌다가 다 구독하게 됐으니
3개나 다 왜 하냐고는 물어보지 말아주세요
비밀입니다… 쉿…

일단 기준은 이렇습니다.
무료는 테스트 진행하지 않았습니다.
무료는 가입만 하면 다 사용이 가능하시기에
스스로 충분히 확인 가능하시기 때문입니다.
참고로 제 테스트는 완벽하지 않습니다.
문송이기 때문에 느낌적인 느낌으로 진행해 봤습니다.
그럼 조건을 공개하겠습니다.
| chatGPT | claude | Gemini |
유료 플랜 | Plus | Pro | Pro |
모델 | 5.5 medium | Sonnet 5 중간 | 3.6 Flash |
GPT는 Plus보다 한 단계 아래인 go플랜이 있기는 한데
go플랜은 이미지 생성 한계가 있어서 Plus플랜으로 구매했습니다.
모델은 가장 대중적이고, 토큰 소비가 적절한 모델로 정했습니다.
물론 상위 모델들이 있지만, 상위 모델들은 써보면 이미 기깔나게 뽑아주고
토큰(사용량)을 무지막지하게 잡아먹기 때문에
보편적인 모델인 저 3가지로 정했습니다.
이 3가지 모델을 사용하면서 눈여겨 볼 점을 정해봤습니다.
채점표 같은건데요.
☑️ 글자수 범위
☑️ 표/리스트 개수
☑️ 금지 표현 여부
등 입니다.
프롬프트는 당연히 월부월백 기초반 수업에 제공되는
메킷님의 프롬프트로 진행했습니다.
이번 실험에서는 이미지 구현 능력은 보지 않겠습니다.
클로드를 제외한 GPT와 Gemini는 이미지 구현 능력이 있고
Claude는 이미지 능력이 없다 봐도 무방하기 때문입니다. 🤪
그래도 아예 안 다루기는 아쉬우니
마지막에 살짝 맛 보기 정도로만 해보겠습니다 ㅎㅎㅎ
0. 프롬프트가 뭔가요?
일단 이걸 먼저 알고 가야합니다.
이미 알고 계시다구요? 그래도 살짝 들어보고 가세요 ㅎㅎㅎ
프롬프트는 AI에게 주는 주문서입니다.
"3천 자로 써줘, 소제목은 열 개, 표는 두 개 넣어줘" 처럼
원하는 걸 적어서 넣으면
AI가 그걸 보고 글을 만들어냅니다.
이번 실험에서 쓴 주문서에는 지켜야 할 조건이 스무 개 넘게 적혀 있었습니다.
상당히 많이 적혀있죠?
메킷님이 가장 좋은 것들로 넣어 주셨기 때문입니다.
적혀있는 대략 적인 내용은
길이, 소제목 개수, 표와 목록 개수, 쓰면 안 되는 표현, 출처를 다루는 방법 등이죠.
이 프롬프트(주문서)를 ChatGPT, Claude, Gemini에게 완전히 똑같이 전달했습니다.
결과부터 미리 말씀드리면 조건을 ‘완벽하게’ 지킨 글은 하나도 없었습니다.
근데 이건 AI가 못 쓴다는게 아니라는 점이죠!
1. ChatGPT, Claude, Gemini 글 길이의 차이
주문서에는 "3,000자에서 3,800자 사이로 써달라"고 똑같이 부탁했습니다.
근데 결과는 아무도 이 기준을 맞추지 못했습니다.
챗GPT는 부탁한 것보다 훨씬 길게 썼습니다.
짧은 글은 4,569자, 긴 글은 6,509자까지 나왔습니다.
반대로 클로드와 제미나이는 짧게 썼습니다.
클로드는 24편 중 23편이 최소 기준에 못 미쳤습니다.
사실 글 길이는 AI가 가장 못 지키는 지시입니다
AI는 글자를 세면서 쓰지 않기 때문입니다.
그래서 원하는 길이가 있다면,
나온 글을 보고 "조금 더 길게" 또는 "줄여줘"라고
다시 부탁하는 편이 빠릅니다.
2. AI별 성격도 다릅니다
먼저 챗GPT는 시킨 것보다 많이 썼습니다.
대신 틀리면 곤란한 이야기는 아예 꺼내지 않아서
글의 내용 안에서 위험한 내용이 거의 없었습니다.
틀리면 안되는 글에 잘 어울리겠다는 생각이 들었죠.
클로드는 형식을 가장 정확하게 따랐습니다.
주문서에 적은 개수와 순서를 거의 그대로 맞췄죠.
대신 분량이 좀 짧죠..
규칙적이고 정해진 틀에 맞춰 여러편 찍어 내기에 좋겠더라고요.
제미나이는 가장 구체적으로 글을 적어 주었습니다.
연도와 숫자를 실제로 담았습니다. 실제로 잘 맞았구요.
다만 참고자료 이름을 지어내더라고요.
자료를 찾고 정리하는 일을 잘하더라고요.
근데 참고자료 목록은 꼭 체크해야겠습니다.
| 좋은 점 | 아쉬운 점 |
|---|---|---|
챗GPT
| 없는 자료를 지어내지 않습니다. 24편 전부에서 한 건도 안 나왔습니다. 문서 형식이 24편 모두 깨끗했습니다. 그대로 옮겨 붙여도 문제가 없습니다. 설명이 길고 친절합니다. 표에 기대지 않고 문장으로 풀어씁니다. | 부탁한 길이의 약 1.6배를 씁니다. 24편 전부 초과했습니다. 소제목을 8~10개로 부탁했는데 평균 13.9개를 만듭니다. 시키지 않은 항목을 스스로 추가합니다. 구체적인 숫자나 연도를 거의 쓰지 않습니다. 안전하지만 밍밍합니다. |
클로드
| 소제목을 8~10개로 부탁하니 평균 9.9개. 24편 전부 범위 안입니다. 글 안에 작은 소제목까지 나눠 넣습니다. 셋 중 유일하게 이걸 합니다. 출처를 “공공기관 안내 자료” 같은 종류로만 안내합니다. 주문서가 원한 방식 그대로입니다. | 24편 중 23편이 길이 미달입니다. 시킨 것보다 늘 조금 모자랍니다. 72편 중 1편에서 문서 형식이 깨졌습니다. 잘못된 글자가 섞여 들어갔습니다. 글 한 편에서 없을 법한 자료 이름을 2건 만들었습니다. 드물지만 있습니다. |
제미나이
| 본문에 연도·숫자 17건을 담았고, 확인한 것이 전부 사실이었습니다. 주제를 깊이 있게 설명합니다. 읽으면 실제로 배우는 게 있습니다. 표를 잘 만들고 비교 정리를 잘합니다. | 24편 중 21편에서 없을 법한 보고서 이름을 만들어 적었습니다. 총 16건입니다. 글의 46%가 표와 목록입니다. 설명해야 할 자리를 표로 채웁니다. 72편 중 2편에서 문서 형식이 깨졌습니다. |
3. AI를 처음 쓰신다면 이 3가지를 기억하세요
첫번째는 AI는 지시를 어깁니다.
테스트로 돌렸던 72편 전부 어딘가 어긋났습니다. 작든 크든 말이죠.
그러니까 완벽하게 말을 잘 듣는 AI를 찾는 거는 의미가 없습니다.
대신 각 AI별 버릇을 알아두면 수정하기가 편하겠죠.
두번째는 AI가 자신있게 말했다고 다 사실이 아닙니다.
예를 들어 제미나이가 기관 이름은 다 실제로 있는 곳을 적었습니다.
근데 적어 놓은 참고자료는 ‘국립생태원 조류 서식지 변화 및 생태계 영향 평가 보고서’라고 적어둔거죠.
찾아보니까 실제 이름은 「제4차·제5차 전국자연환경조사 조류 조사보고서」였습니다.
기관과 연구 주제는 맞았는데 제목이 실제와 달랐던거죠.
세번째는 안전한 글이 반드시 꼭 좋은 글은 아닙니다.
챗GPT는 지어낸 자료가 한 건도 없었죠. 근데 이유를 보면
구체적인 숫자와 연도를 아예 안 썼거든요.
반면 제미나이는 17건 정도 숫자와 연도를 썼죠.
확인한 결과 다 맞았습니다. 참고자료 제목이 어긋난 이유도
실제 자료를 가리키려다 생긴일로 봐야하는 지점이죠.
정보가 많을 수록 틀릴 위험도 커집니다.
위험이 없다는게 꼭 내용이 알차다는 뜻은 아닙니다.
4. 그래서 뭐 써요?
솔직히 저도 정답을 딱 정해드리면 좋겠는데
그러려고 글을 쓴건데…🤪
이렇게 테스트해보고 결과들을 살펴보니
상황에 따라
내가 원하는 역할에 따라
골라야 되겠더라고요.
일단 아래 표로 한 눈에 정리해봤습니다.
| 항목 | 챗GPT | 클로드 | 제미나이 |
|---|---|---|---|
| 글 길이 (목표 3,000~3,800) | 5,574자 너무 김 | 2,321자 모자람 | 2,497자 모자람 |
| 소제목 개수 (목표 8~10) | 13.9개 | 9.9개 | 9.1개 |
| 제목이 틀린 참고자료 | 0건 목록을 안 만듦 | 1건 | 16건 |
| 본문 속 사실 정보 | 0건 숫자를 안 씀 | 2건 | 17건 전부 정확 |
| 표·목록이 차지한 비율 | 23% | 27% | 46% |
| 문서 형식이 깨진 글 | 0편 | 1편 | 2편 |
결국 어느정도 길도 들여야하고,
대화를 통해 사용자와의 싱크도 맞춰야
점차 원하는 형태의 글이 나오게 됩니다.
이건 모든 AI를 사용하시는 분들이 하는 말이니
믿으십쇼 ㅎㅎㅎ
가장 권장하는 방법은 무료로 다 사용해보시고
내 마음에 들고 잘 맞는 녀석으로 사용하시면 좋겠다입니다.
물론 더 많은 확장성을 생각하신다면
챗GPT나 클로드가 좋은 선택입니다.
나중에 자동화까지 생각하신다면 더더욱이요.
마무리
약간 반은 재미처럼 시작해본 글이었는데
막상 저도 테스트를 해보니 차이점을 좀 더 명확하게
알게 되어서 재미있었던 시간이었습니다.
물론 넓은 AI시장에서 작디 작은 지엽적인 실험이지만
저도 초기에 AI 툴에 대한 고민이 많았던 사람 중 한 명으로써
월부월백 블로그 글을 시작하는 분들께
도움이 되었으면 좋겠습니다.
이상 3대 AI 누가누가 글을 잘쓰나 실험이었습니다!!!

번외. 이미지는 누가 나은가?
같은 프롬프트로 글을 뽑고 이미지용 프롬프트를 달라고해서
각각 챗GPT와 제미나이에서 제작해보았습니다.
주제는 ‘기억과 학습에서 단기기억과 장기기억은 어떻게 다를까’ 입니다
챗GPT 이미지

제미나이 이미지

클로드에서 나온 프롬프트로 챗GPT에서 뽑은 이미지

클로드에서 나온 프롬프트로 제미나이에서 뽑은 이미지

각각 이미지들의 특징들 정도는 보이는 것 같습니다.
클로드 같은 프롬프트여도 표현하는 느낌이 다른게 신기하네요.
(이 글 본 사람 모두 애드센스 승인 되라..🧚)

