벤치마크 (AI 성능 비교 시험)
영어 Benchmark (AI performance test) · 일본어 ベンチマーク（AIの性能を比べる試験） · 읽는 법 벤치마크
벤치마크는 여러 AI 모델에 같은 문제를 풀게 해 점수로 비교하는 공통 시험입니다. 발표 자료의 숫자는 어느 시험을 어떤 조건으로 치렀는지 함께 봐야 뜻이 있습니다.
HowtoAI 글에서는 Meta나 OpenAI 같은 회사가 새 모델을 발표하며 내세우는 점수를 전할 때, 또 그 점수가 곧 실력이나 AGI의 증거는 아니라고 짚을 때 나옵니다.
확인 2026-10-26출처 논문 「Measuring Massive Multitask Language Understanding」(MMLU, arXiv 2009.03300, ICLR 2021)
1이 말, 이런 곳에서 만납니다
처음 보는 말이 낯선 것은 당연합니다. 대개 이런 자리에서 마주칩니다.
HowtoAI 글 「Meta Llama 3.1 공개」의 성능 설명
Meta는 150개가 넘는 벤치마크와 사람 평가를 거쳐, 405B가 GPT-4o, Claude 3.5 Sonnet과 겨룰 만한 수준이라고 설명했다는 내용입니다.
HowtoAI 글 「일론 머스크와 AGI」의 발표문 읽기
OpenAI의 발표문은 AGI라는 말 대신 벤치마크 결과를 나열했고, 벤치마크를 운영하는 재단은 만점에 가까운 점수를 받아도 AGI의 증거는 아니라는 입장이라는 설명입니다.
AI 회사의 새 모델 발표 페이지 (예)
「SWE-bench Verified 77.2%」처럼 시험 이름과 퍼센트가 나란히 적힌 표
2한 장면으로 이해하기
벤치마크는 전국 모의고사에 비유할 수 있습니다. 같은 시험지로 치르니 학교가 달라도 점수를 견줄 수 있지만, 모의고사 1등이 우리 가게의 장부 정리를 가장 잘한다는 뜻은 아닙니다. 게다가 시험 시간을 더 주거나 여러 번 풀게 하면 점수가 달라지므로, 점수 옆의 조건을 같이 봐야 합니다.
같은 시험지라서 비교는 되지만, 점수가 내 일의 실력은 아닙니다.
3우리 회사도 해당될까요?
이런 경우 해당됩니다
- 새 AI 모델 뉴스에서 「○○에서 몇 %」라는 숫자를 보고 바꿔야 하나 고민된다
- 제작사나 서비스 회사가 벤치마크 점수를 근거로 특정 AI 도구를 권한다
- AI 도구 두 개 중 하나를 고르려는데 비교할 기준이 없다
이런 경우는 걱정을 덜어도 됩니다
- 홈페이지나 서버의 속도를 재는 벤치마크 이야기다(AI 모델의 시험과는 다른 뜻입니다)
- 모델의 크기나 매개변수 수가 궁금하다(‘파라미터’ 페이지를 보세요)
벤치마크 점수는 모델 사이의 큰 차이를 보는 데는 쓸모가 있지만, 몇 점 차이로 도구를 바꿀 이유는 되기 어렵습니다. 내 업무로 직접 시험해 본 결과가 더 믿을 만합니다.
4조금 더 자세히
벤치마크는 여러 AI 모델에 똑같은 문제를 풀게 하고, 맞힌 비율을 점수로 매겨 비교하는 공통 시험입니다. MMLU는 수학·역사·법 등 57개 과목의 문제로 지식을 재고, SWE-bench는 GitHub에 실제로 올라온 2,294개의 고장 신고를 고치게 해 코딩 실력을 잽니다. 같은 시험지를 쓰는 전국 모의고사처럼, 다른 회사의 모델도 한 줄에 놓고 견줄 수 있습니다. 새 모델 발표에 「SWE-bench Verified 77.2%」처럼 적힌 숫자가 바로 이 점수입니다.
주의할 점 점수는 시험 조건에 따라 달라집니다. Anthropic은 Claude Sonnet 4.5 발표에서 같은 시험을 기본 설정으로 77.2%, 계산을 더 쓴 설정으로 82.0%라고 나누어 적었습니다. 시험을 잘 보는 것과 내 가게의 일을 잘 처리하는 것은 다른 문제입니다. 도구를 고를 때는 발표 숫자는 참고만 하고, 내 업무의 문서 몇 개를 직접 넣어 결과를 비교해 보는 편이 낫습니다.
5그래서 무엇을 하면 되나요?
- 1발표 자료의 점수를 볼 때 시험 이름, 치른 조건(기본 설정인지 계산을 더 쓴 설정인지), 누가 쟀는지(회사 자체인지 외부인지)를 같이 확인합니다.사장님
- 2AI 도구를 고를 때는 내 업무에서 실제로 쓰는 문서나 질문 몇 개를 두 도구에 똑같이 넣어 보고 결과를 나란히 비교합니다.사장님
- 3벤치마크 점수를 근거로 도구를 권할 때는, 그 시험이 고객의 업무와 비슷한 일을 재는지와 점수를 잰 조건을 함께 알려 줍니다.제작사
제작사에 이렇게 물어보세요
“권해 주신 AI 도구의 점수는 어느 벤치마크에서, 어떤 조건으로 잰 것인가요? 우리 회사가 실제로 하는 일과 비슷한 문제로 시험해 본 결과가 있나요?”
6자주 묻는 질문
Q. 벤치마크 점수가 높은 모델이 항상 더 좋은가요?
꼭 그렇지는 않습니다. 벤치마크는 정해진 문제를 푸는 시험이라, 시험에 없는 일은 재지 못합니다. 같은 모델도 시험 조건에 따라 점수가 달라지므로, 몇 점 차이보다 내 업무로 직접 써 본 결과를 더 믿는 편이 낫습니다.
Q. 벤치마크는 누가 만들고 누가 점수를 재나요?
MMLU나 SWE-bench처럼 대학 연구자가 논문으로 공개한 시험이 많고, Humanity's Last Exam이나 ARC-AGI처럼 재단이 운영하는 것도 있습니다. 점수는 AI 회사가 스스로 재서 발표하는 경우가 많아, 외부 단체가 다시 잰 결과가 있는지 보면 더 확실합니다.
7이 풀이의 근거
- 출처
논문 「Measuring Massive Multitask Language Understanding」(MMLU, arXiv 2009.03300, ICLR 2021) (확인 2026-10-26)
논문 「SWE-bench: Can Language Models Resolve Real-World GitHub Issues?」(arXiv 2310.06770, 제3판 2024-11-11) (확인 2026-10-26)
Anthropic 발표문 「Introducing Claude Sonnet 4.5」(2025-09-29): SWE-bench Verified 77.2%·82.0%와 측정 조건 (확인 2026-10-26)
Meta 발표문 「Introducing Llama 3.1: Our most capable models to date」(2024-07-23): 150개가 넘는 벤치마크 데이터셋과 사람 평가 (확인 2026-10-26)
벤치마크 공식 페이지 「Humanity's Last Exam」: 2,500문항과 모델별 점수표 (확인 2026-10-26)
ARC Prize 「What is ARC-AGI?」: 특정 과제의 점수는 지능의 좋은 잣대가 아니라는 설명 (확인 2026-10-26)
- 확인한 날
- 2026-10-26 · 다음 확인 2027-01-26
- 풀이
- 양진석 · 따뜻한기술 대표
이 정의를 인용하려면
“벤치마크는 여러 AI 모델에 같은 문제를 풀게 해 점수로 비교하는 공통 시험입니다. 발표 자료의 숫자는 어느 시험을 어떤 조건으로 치렀는지 함께 봐야 뜻이 있습니다.” — 용어집 「벤치마크 (AI 성능 비교 시험)」 (확인 2026-10-26), atatakaidigital.com/kr/glossary/benchmark