`챗GPT`의 굴욕?... 한국 수능문제 풀어보게 했더니

실시간
뉴스

e비즈니스

'챗GPT'의 굴욕?... 한국 수능문제 풀어보게 했더니

디지털데일리 발행일 2023-02-06 13:25:21

양원모

URL복사

[디지털데일리 양원모 기자] 미국 의사 시험, 로스쿨, 경영 전문 대학원(MBA) 시험 등을 통과하며 열풍을 일으키고 있는 챗GPT가 한국 수능에서는 '매운맛'을 봤다. 특히 수학 시험에서 크게 약한 모습을 보였다.

6일 시험 평가 및 기술 검증 스타트업 애나와 연세대 인공지능대학 김시호 교수 연구팀이 챗GPT에 2023년 대학수학능력시험에 출제된 영어와 수학 문제를 입력한 결과, 영어는 33문제 가운데 27개를 맞춘 반면, 수학은 20개 가운데 6문제를 맞췄다.

등급으로 환산 시 영어는 2등급, 수리는 낙제 수준이다. 다만 그림이 포함돼 문항 입력이 불가능한 문제들은 대상에서 제외했다.

영어의 경우 듣기 평가 16문제 가운데 14문제, 독해 평가 17문제 가운데 13문제를 맞췄다. ▲문단에 함축된 의미 추론 ▲요지 파악 ▲글의 목적과 주제 파악 등 난도가 높은 문제는 모두 정답을 맞췄다.

그러나 수학은 ▲확률과 통계 ▲미적분학 ▲기하 등에서 모두 오답을 내놓으며 겨우 6문제를 맞추는 데 그쳤다.

챗GPT의 연산 능력은 한 자릿수 곱셈 정도만 가능할 만큼 뒤쳐진다. 머신 러닝(기계 학습) 방법으로 수학을 배우기 때문이다. 2×2=4, 10×10=100처럼 인터넷에 결과값이 많은 계산은 정확히 답하지만, 그렇지 않은 계산에 대해선 오답을 내놓을 가능성이 크다.

애나 이상호 최고기술책임자(CTO)는 "챗GPT는 문장에 대한 요약, 추론 등에 대해서는 매우 뛰어난 능력을 보이고 있고 이런 요약, 추론 기능을 활용해 응용할 수 있는 서비스가 무궁무진할 것으로 보인다"면서 "산업계에서는 이에 맞춰 인재 채용에 대한 요구 사항이 머지않아 바뀌게 될 것"이라고 말했다.