실시간
뉴스

e비즈*솔루션

오픈AI 리서치 부사장 "AI 벤치마크, 신뢰 못 해… 토큰량 공개해야"

디지털데일리 발행일 2026-07-03 14:27:40
구아현 기자

비용·시간 평가로 전환 촉구

노엄 브라운 오픈AI 리서치 부문 부사장이 3일 서울 강남구 더 웨스틴 서울 파르나스에서 열린 '글로벌 AI 프론티어 심포지엄 2026'에서 '대규모 추론 단계 연산의 의미와 영향'을 주제로 기조연설을 하고 있다. [사진=디지털데일리 구아현기자]

[디지털데일리 구아현기자] 현재 인공지능(AI) 모델 벤치마크 방식 자체를 바꿔야 한다는 주장이 나왔다.

노엄 브라운 오픈AI 리서치 부문 부사장은 3일 더 웨스틴 서울 파르나스에서 열린 '글로벌 AI 프론티어 심포지엄 2026' 기조연설에서 "AI 모델의 진짜 실력은 한 번에 얼마나 많은 토큰을 썼는가에 달려 있다"며 "지금 업계는 토큰량은 숨긴 채 단일 벤치마크 점수 중심으로 모델을 비교하고 있다"고 지적했다. 이어 "현재 단일 모델 평가 방식은 신뢰할 수 없다"고 강조했다.

브라운 부사장은 몇 달 전 출시된 GPT-5.5를 예로 들었다. 그는 "GPT-5.5는 벤치마크 점수만 보면 이전 모델보다 소폭 오르는 데 그쳐, 많은 사람이 '별거 아니다'라고 반응했다"고 말했다. 실제로 터미널 벤치마크 점수는 GPT-5.4의 75%에서 83%로, 사이버보안 평가는 79%에서 82%로 오르는 데 그쳤다.

하지만 같은 결과를 '출력 토큰 수'를 가로축에 놓고 다시 그리면 두 모델의 성능 곡선이 확연히 갈린다. 브라운 부사장은 "옛 모델은 답에 도달하기까지 훨씬 많은 토큰을 소모했고, 같은 토큰량으로 비교해야 실제 성능 차이가 드러난다"며 "결국 단일 점수 비교는 각 모델이 답 하나에 몇 개의 토큰을 썼는지를 감추기 때문에 공정한 잣대가 될 수 없다"고 지적했다.

브라운 부사장은 최신 프런티어 모델일수록 토큰을 아무리 늘려도 성능이 정체되는 지점이 나타나지 않는다고 설명했다.

영국 AI안전연구소(AISI)의 사이버보안 평가를 예로 들며 "최신 모델은 1억 개 토큰을 쓸 때까지도 성능이 계속 올라갔다"며 "평가를 1억 토큰에서 멈춘 유일한 이유는 성능이 정체돼서가 아니라, 연구소가 '더는 실행할 시간이 없다'고 했기 때문"이라고 덧붙였다. 반면 GPT-4o나 클로드 3.7 소네트 같은 구형 모델은 토큰을 늘리면 어느 지점에서 성능이 확실히 정체됐다.

그는 이 같은 현상이 AI 안전성 평가 허점으로도 이어진다고 봤다. 현행 안전성 평가는 대부분 적은 토큰, 즉 저예산으로 수행되는데 실제로 막대한 추론 자원을 투입할 조직이 있다면 결과가 달라질 수 있다는 말이다. 브라운 부사장은 "10달러나 100달러 예산으로 짧게 테스트하면 '이 모델은 위험하지 않다'는 평가를 받을 수 있는데 누군가 추론에 100만 달러를 투입하면 훨씬 강력한 능력을 보일 수 있다"고 경고했다.

그는 강화 추론 모드가 사실상 기존 모델에 추론 연산을 대폭 투입한 것에 불과한데도, 별도의 강력한 신모델처럼 받아들여져 안전성 논란이 이는 경우를 지적했다. 브라운 부사장은 "이런 모드는 누구나 기존 모델에 같은 토큰량을 투입하면 재현할 수 있는 능력"이라며 "진짜 문제는 본체 모델을 출시할 때 토큰량에 따른 평가를 하지 않은 것"이라고 짚었다.

브라운 부사장은 실제로 일부 벤치마크가 이미 토큰축 평가로 전환하고 있다고 소개했다. 그는 "토큰을 늘릴수록 성능이 오르는 파레토 프론티어 곡선이 뚜렷하게 나타난다"며 "오픈AI는 이미 이 방식으로 모델 평가 전환을 시작했다"고 덧붙였다.

그는 "정부, 기업, AI 연구소는 벤치마크를 단일 숫자가 아니라 토큰·비용·시간 등 추론 자원을 공개해야 한다"며 "제3자 벤치마크와 리더보드도 모델이 사용한 토큰량을 함께 표기하거나 명시적 예산 상한을 둬야 하며, AI 기업의 준비성 프레임워크와 책임있는 확장 정책에도 테스트에 쓰인 토큰량을 명시적으로 반영해야 한다"고 강조했다.

Copyright ⓒ 디지털데일리. 무단전재 및 재배포 금지

이 기사와 관련된 기사

디지털데일리 네이버 메인추가

당신이 좋아할 만한 뉴스

DD 마이크로 사이트

오피니언