AI 평가 기업 Andon Labs가 2026년 7월 30일 Claude Opus 5의 Vending-Bench 2 결과를 공개했다. Opus 5는 가상 자판기를 1년간 운영하는 실험을 5회 마친 뒤 계좌에 남은 돈이 평균 $11,181.87이었다. 3개월 동안 선두를 지킨 Claude Opus 4.7이 남긴 평균 금액 $10,936.76을 넘어 1위에 올랐다.[1][12][13]
Vending-Bench 2가 보는 것은 정답 하나를 빨리 찾는 능력이 아니다. 모델은 주문하고 가격을 바꾸고, 재고 부족과 배송 지연을 처리하면서 가상의 1년을 버텨야 한다. 결정 하나하나는 어렵지 않다. 문제는 앞서 세운 계획과 지금의 상황을 잊지 않고 같은 일을 몇 달 동안 이어 가는 데 있다.
왜 자판기 사업인가
Andon Labs의 Axel Backlund와 Lukas Petersson은 2025년 2월 20일 Vending-Bench 프리프린트를 공개했다. 재고 확인과 주문, 가격 설정처럼 단순한 업무를 길게 이어 가게 하면 당시 모델의 약점이 선명하게 드러났다. 모델은 한 번의 실행에서 최대 2,000개의 메시지를 주고받았고, 실험 한 번에 실제로 5시간에서 10시간이 걸렸다. 연구진은 모델마다 같은 실험을 5회 반복했다.[2][3]
초기 버전은 대화 전체를 매번 모델에 보내지 않았다. 매 단계에서 최근 3만 토큰만 전달하고, 에이전트가 필요할 때 기록을 남겨 다시 꺼낼 수 있도록 스크래치패드와 키값 저장소, 벡터 데이터베이스를 따로 제공했다. 그런데도 연구진은 모델의 컨텍스트가 가득 찬 시점과 실행이 무너진 시점 사이에서 뚜렷한 상관관계를 찾지 못했다. 당시 실패를 컨텍스트 길이 부족만으로 설명하기 어렵다는 뜻이다.[2]
첫 결과에서 점수로 삼은 것은 현금과 재고를 합한 사업 전체 가치였다. Claude 3.5 Sonnet은 5회 평균 $2,217.93으로 1위를 차지했다. 그러나 같은 모델의 가장 낮은 실험은 $476에 그쳤고, 상위권 모델도 적어도 한 번은 물건을 하나도 팔지 못했다. 모델은 배송 일정을 잘못 읽거나 주문을 잊었고, 자판기 운영과 관계없는 행동을 되풀이했다. 같은 모델도 실험마다 점수가 크게 달랐다.[2]
Anthropic과 Andon Labs는 같은 해 6월 Claude에게 Anthropic 사무실의 작은 매장을 실제로 맡겼다. Project Vend에서 Claude는 판매 기회를 놓치고 직원들의 할인 요구에 끌려다녔다. 상품을 진열하고 고객을 상대하는 일에는 사람의 도움이 필요했다. 현실의 매장에서는 시뮬레이션에 없던 요구와 예외가 계속 생겼다.[5]
Vending-Bench 2에서 달라진 것
2025년 11월 18일 공개된 Vending-Bench 2에는 공급자가 에이전트를 속이거나 더 높은 가격을 요구하는 상황이 추가됐다. 배송이 늦어지거나 공급자가 폐업하고, 고객이 환불을 요구하기도 한다. 연구진은 메모와 알림 등 계획을 관리할 도구도 보강했다. 첫 리더보드의 1위는 Gemini 3였다.[1][7]
에이전트에게는 $500이 든 은행 계좌가 주어진다. 하루 운영비는 $2이고, 열흘 연속 운영비를 내지 못하면 실험이 끝난다. 실험이 중단되지 않으면 가상 시간으로 1년 동안 사업을 운영한다. 리더보드는 5회 실험을 마친 뒤 계좌에 남은 돈의 평균으로 순위를 정한다.[1]
도구를 호출하면 시뮬레이션의 시간이 흐른다. 모델이 출력한 토큰은 일주일 단위로 비용이 정산되기 때문에, 추론이 길어질수록 운영 자금도 줄어든다. 재고를 확인하고 주문할 시점을 놓치지 않는 편이 유리하다.[1]
V2의 공개 시스템 프롬프트는 컨텍스트 한도를 약 6만9천 토큰으로 잡는다. 한도에 이르면 오래된 대화를 자동으로 잘라 내고 전체 메시지의 약 61%를 남긴다. 공개 설명에는 잘라 낸 대화를 요약문으로 압축해 다시 넣는 별도의 컴팩팅 절차는 나오지 않는다. 대신 메모와 알림을 계획 도구로 제공한다. V2가 초기 버전의 세 저장소까지 그대로 쓰는지는 공개 자료에서 확인할 수 없다. 따라서 이 평가는 모델의 컨텍스트 길이만이 아니라, 주어진 메모·알림 도구를 활용해 상태를 이어 가는 능력도 함께 반영한다.[1]
V2에서는 점수의 뜻도 바뀌었다. 초기 평가는 보유 현금과 자판기 안 현금, 매입가로 계산한 재고를 모두 더한 사업 전체 가치를 점수로 삼았다. V2는 재고 가치를 더하지 않고 1년 뒤 은행 계좌에 실제로 남은 돈만 본다. 공급자의 행동과 모델이 쓸 수 있는 도구도 달라졌다. 같은 달러 표시라도 뜻이 다르므로 두 평가의 금액을 직접 비교해 모델 성능이 그만큼 올랐다고 해석할 수는 없다.[1][2]
Vending-Bench가 바뀐 17개월
- 초기 Vending-Bench 공개, Claude 3.5 Sonnet 선두
- Claude Opus 4 선두와 Project Vend 공개
- Grok 4, 초기 평가 1위
- Vending-Bench 2 공개, Gemini 3 선두
- Claude Opus 4.6, V2 1위
- Claude Opus 4.7, V2 1위
- Claude Opus 5, V2 1위
리더보드 선두가 여러 번 바뀌는 동안 장기 실행에서 나타나는 실패 양상도 달라졌다. Andon Labs는 초기 모델이 수천 번 도구를 호출한 뒤 보이던 성능 저하가 상위 모델에서는 거의 사라졌다고 설명했다. 모델 사이의 차이는 이제 협상과 가격 설정, 공급처를 찾는 방식에서 더 크게 나타났다.[4][6][9][10]
현재 1위인 Opus 5는 고가 상품을 주로 팔고 사기성 공급자에게 돈을 보내지 않았다. 1년 동안 도구를 꾸준히 사용했고, 협상과 검색을 거듭해 값싼 공급처를 찾았다. 5회 실험 뒤 계좌에 남은 돈은 Opus 4.7이 평균 $10,936.76, 3위 GPT-5.6 Sol이 $9,619.37이었다. Opus 5는 2위보다 평균 $245.11, 비율로는 2.2% 더 남겼다.[1][11][12]
모델마다 실험 횟수가 5회뿐이고 1위와 2위의 차이도 2.2%에 불과하다. 다음 평가에서도 같은 순서가 유지될지는 알 수 없다.
가상 자판기와 현실 사업 사이에 남은 차이
Vending-Bench 2에서 주문 한 번이나 가격 조정 한 번은 복잡하지 않다. 성패는 앞선 결정이 만든 재고와 현금 상황을 기억하고, 공급자가 사라지거나 배송이 늦어졌을 때 계획을 고치는 데서 갈린다. 초기 모델은 이런 업무를 오래 이어 가지 못했지만, Opus 5는 적어도 이 시뮬레이션에서 도구를 활용해 가상 사업을 1년 동안 중단 없이 운영했다.
시뮬레이션의 판매량은 가격과 날씨, 계절, 요일을 반영한 계산식으로 결정된다. Vending-Bench 2는 현실의 사업 운영에 필요한 규제 준수, 회계, 노무, 물류, 평판 관리를 평가하지 않는다. Project Vend 2단계의 실제 매장에서도 상품 진열 같은 현장 업무와 고객 응대에는 사람이 많이 개입해야 했다. 메모와 알림, 검색과 이메일 도구를 어떻게 구성했는지도 점수에 영향을 준다.[8]
Andon Labs는 적절한 전략이라면 1년 뒤 계좌에 약 $63,000을 남길 수 있다고 계산했다. Opus 5가 남긴 평균 금액의 약 5.6배다. 사람이 같은 실험에서 얻은 실측값이 아니라 평가 설계자가 계산한 추정치다. 현재 최고 점수와 이 추정치의 차이는 여전히 크다.[1]
초기 Vending-Bench에서 모델은 쉬운 일을 오래 이어 가지 못해 사업을 멈췄다. 17개월 뒤 상위 모델에서는 이런 실패가 크게 줄었다. 새 모델은 앞선 계획을 더 오래 유지했고, 메모와 알림 도구도 이를 뒷받침했다. 이제 볼 것은 다음 1위가 누군지가 아니라, AI가 실제 업무도 몇 달 동안 중단 없이 이어 갈 수 있는지다.