ChatGPT는 왜 선지를 못 쓸까?
박
박상현
Blog
카테고리
Empty
ChatGPT로 선지를 쓴다는 것
선지를 쓰는 일은 문항 제작의 정수입니다.
좋은 선지는 명확히 지문에 근거해 틀린 선지라고 유추할 수 있어야 하지만,
그렇다고 너무 쉬우면 문제를 푸는 의미가 없어지니까요.
좋은 선지는 명확히 지문에 근거해 틀린 선지라고 유추할 수 있어야 하지만,
그렇다고 너무 쉬우면 문제를 푸는 의미가 없어지니까요.
그래서 좋은 선지를 쓰는 사람이 곧 좋은 문항을 만드는 사람이라고도 할 수 있습니다.
그런데 ChatGPT로 선지를 써보셨다면, 다음과 같은 경험을 분명 해보셨을 거에요.
•
지문의 문장을 paraphrasing한 것에 불과한 너무 쉬운 선지
•
정답 선지와 길이와 문장구조가 맞지 않는 선지
•
상식 선에서 쉽게 거를 수 있는 선지
•
우리나라 수능의 출제기조를 전혀 반영하지 못하는 선지
•
다양한 아이디어를 제공하지 못하고, 비슷한 내용만 반복하는 선지
이런 문제들은 아무리 프롬프팅을 해봐도 해결되지 않는 경우가 많죠.
왜 이런 일이 일어나는 걸까요? 그리고 큐파일럿은 이를 어떻게 해결했을까요?
논리적 오류가 있는 글을 쓰는 것을 어려워하는 ChatGPT
이 문제를 이해하려면 ChatGPT가 어떻게 훈련되었는지부터 이해해야 합니다.
ChatGPT는 트랜스포머 기반의 LLM인 GPT-3를 RLHF라는 훈련 방식을 거쳐 챗봇으로 만든 모델입니다.
RLHF란 Reinforcement Learning from Human Feedback의 약자로
사람이 모델의 생성 결과를 평가한 데이터를 바탕으로 LLM을 추가로 학습시키는 것입니다.
사람이 모델의 생성 결과를 평가한 데이터를 바탕으로 LLM을 추가로 학습시키는 것입니다.
예를 들어, 친절한 답변과 불친절한 답변이 있다면
친절한 답변에 평가자는 일반적으로 높은 점수를 줄 겁니다.
모델은 이를 학습해 더 친절한 답변을 생성하게 되는 것이죠.
친절한 답변에 평가자는 일반적으로 높은 점수를 줄 겁니다.
모델은 이를 학습해 더 친절한 답변을 생성하게 되는 것이죠.
이는 본질적으로 일반적인 유저가 좋아할 만한 결과를 생성하도록 강제하는 학습법입니다.
문법적으로 이리저리 꼬여있는 문장, 일부러 헷갈리는 표현을 사용한 문장,
논리적으로 앞뒤가 맞지 않는 문장…
논리적으로 앞뒤가 맞지 않는 문장…
이런 문장들은 당연히 일반적인 유저가 좋아하는 결과물이 아닙니다.
그래서 ChatGPT는 최대한 그런 글을 쓰지 못하도록 훈련되었습니다.
그래서 ChatGPT는 최대한 그런 글을 쓰지 못하도록 훈련되었습니다.
따라서 우리가 원하는 "헷갈리는 오답 선지"를 쓰도록 프롬프팅하기가 쉽지 않은 겁니다.
우리나라 수능의 출제 기조를 학습한 큐파일럿 AI
하지만 큐파일럿은 한국 수능의 출제기조를 따르도록 훈련되었습니다.
큐파일럿이 사용한 데이터는 서울대 영교과, 영문과 출신으로 구성된
30여명의 서울대 조교진이 제작한 데이터셋으로,
꼼꼼한 검수를 거쳐 좋은 선지를 생성할 수 있도록 설계되었습니다.
30여명의 서울대 조교진이 제작한 데이터셋으로,
꼼꼼한 검수를 거쳐 좋은 선지를 생성할 수 있도록 설계되었습니다.
큐파일럿의 생성방식 지정 기능
단순히 좋은 선지를 생성할 수 있도록 모델을 학습시키는 것에서 나아가,
큐파일럿은 번거로운 프롬프팅 과정 없이 클릭만으로
다양하고 퀄리티 높은 선지를 만들 수 있도록 만들어졌습니다.
큐파일럿은 번거로운 프롬프팅 과정 없이 클릭만으로
다양하고 퀄리티 높은 선지를 만들 수 있도록 만들어졌습니다.
큐파일럿에서 선지를 쓸 때 가장 핵심적인 요소는 바로 생성방식을 지정하는 기능입니다.
생성방식이란?
오답선지를 만들기 위해 자주 활용되는 방법들이 있죠.
예를 들어, 지문의 특정 문장을 확대해석하거나,
중요하지 않은 내용에 집중해 직접 언급되지 않은 내용을 유추하는 식입니다.
큐파일럿에서는 이를 생성방식이라고 정의합니다.
중요하지 않은 내용에 집중해 직접 언급되지 않은 내용을 유추하는 식입니다.
큐파일럿에서는 이를 생성방식이라고 정의합니다.
큐파일럿 팀에서는 자체 구축한 DB의 선지들을 각 생성방식에 맞게 분류하고,
각 선지에 맞는 생성방식을 할당했습니다.
각 선지에 맞는 생성방식을 할당했습니다.
생성방식을 지정함으로써, 훨씬 더 디테일하면서도 간편하게
사용자가 원하는 방향대로 선지 생성을 조절할 수 있습니다.
사용자가 원하는 방향대로 선지 생성을 조절할 수 있습니다.
또한 여러 생성방식을 조합해서
더 다양하면서도 통제 가능한 방식으로 선지를 만드실 수도 있습니다.
더 다양하면서도 통제 가능한 방식으로 선지를 만드실 수도 있습니다.
한 가지 더 ChatGPT보다 좋은 점은,
모델이 선지를 생성한 로직을 지문에 근거해 해설해준다는 점입니다.
모델이 선지를 생성한 로직을 지문에 근거해 해설해준다는 점입니다.
여기 두 가지 장점을 잘 보여주는 예시가 있습니다.
올해 9월 고3 모의고사 지문을 활용해, 큐파일럿으로 평가원 선지와 비슷한 선지를 만들어보겠습니다.
이렇게 클릭 두 번만으로
퀄리티 높은 선지를 쓸 수 있는 아이디어를 얻을 수 있었습니다.
퀄리티 높은 선지를 쓸 수 있는 아이디어를 얻을 수 있었습니다.
뿐만 아니라 어째서 이 선지가 매력적인지,
그리고 지문의 어떤 근거에 의해 틀린 선지인지를
상세히 해설해주는 모습을 볼 수 있었습니다.
그리고 지문의 어떤 근거에 의해 틀린 선지인지를
상세히 해설해주는 모습을 볼 수 있었습니다.
예시에서 사용된 생성방식을 포함해,
현재 큐파일럿에는 총 9개의 생성방식이 구현되어 있습니다.
현재 큐파일럿에는 총 9개의 생성방식이 구현되어 있습니다.
앞으로 더 많은 생성방식을 추가해나갈 예정이니 기대해주세요!
기본 제공되는 생성방식 외에도
새로운 생성방식을 입력하고 모델에게 가르칠 수 있는 기능을 추가할 예정입니다.
새로운 생성방식을 입력하고 모델에게 가르칠 수 있는 기능을 추가할 예정입니다.
큐파일럿으로 쉽고 빠르게 선지 아이디어를 얻어보고 싶다면?
아래에서 회원가입하고 무료로 체험해보세요!
Subscribe to 'Qpilot'
Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'Qpilot'!
Join Slashpage and subscribe to 'Qpilot'!
Subscribe
10
4