왜 퀘이크 3 벤치마크에 모두들 목을 메는가?

 A군은 자신이 구입하고자 하는 관심있는 하드웨어에 대한 벤치마크 기사를 본다. 그렇다면 일단 그가 머리속에 가장 쉽게 떠올릴 수 있는 첫번째 단어는 "퀘이크 3"이다. 물론, 많은 사람들이 이와 같지 않을 수도 있다. 하지만 하루에도 엄청나게 쏟아져 나오는 다양한 그래픽 카드에 대한 벤치마크의 대상으로 퀘이크 3 퍼포먼스의 그래픽바나 차트를 우리는 보기 싫어도 봐야만 한다. 이게 왜 그렇게 중요한 것인가? 실제로 여러분들이 보고 있는 퀘이크 3의 수치는 얼마나 믿을 수 있는 것인가? 퀘이크 3가 자신의 비디오 카드의 실제 성능을 얼마나 잘 평가해 줄 수 있다고 믿고 계시는가? 아쉽게도 이러한 부분을 건드려서 문제삼으려는 사람들이 너무도 부족하다.

 벤치마크의 대상이 되는 프로그램이라면 우선 간단하고 쉬워야 하며, 동일조건에서 반복적으로 테스트를 해도 측정치의 표본 변화가 적어야 한다. 퀘이크 3는 이런 점에서 볼 때 훌륭한 조건을 갖추고 있는 것이 사실이다. 하지만, 조건만으로 진정 우리가 원하는 실제의 '벤치마크'를 도출해 낼 수 있을까? 과연 여러분들은 그것의 벤치마크 결과가 얼마나 타당하다고 생각하시는가 되묻고 싶다. 필자가 불만인 것은 지구상에 벤치마크 프로그램이 오직 퀘이크 3 말고는 없는 것 같다는 것이다. 재미있는 것은 실제로 우리가 구입한 그래픽 카드로 게임을 할 때 퀘이크 3 엔진을 이용한 게임을 즐기기에는 그 수가 너무 부족하다는 것이다. 여러분들은 퀘이크 3 엔진을 라이센스한 게임을 몇 개나 생각해 내실 수 있는가? 잘해봐야 2개, 혹은 3개가 대부분일 것이다. 그리고 이미 그 게임들은 철 지난 게임들이 대부분이다. 물론 철 지난 게임이라고 해서 당장 쓰레기통에 들어갈 것은 아니지만... 현재의 트렌드를 반영한다고 보기에는 문제가 있고, 벤치마크라는 것이 바로 그 트렌드의 지표라는 점을 주시할때 그래픽 카드를 받아서 냅따 퀘이크 3만을 돌리고선, "리뷰 다 했네~"라고 외칠 수는 없다는 것이다.

 어떻게 보면 차리리 퀘이크 3 보다는 리스텍 엔진이나, 언리얼 엔진, NetImmerse 엔진 같은 것들이 더 대중적일지도 모른다. 우리는 일일이 이름을 잘 기억하지는 못하고 게임마다 무슨 엔진을 썼는지 크게 개의치 않지만, 실제로 한 해를 통털어도 퀘이크 3 엔진을 라이센스 하는 게임은 극히 적다(물론 퀘이크 3 엔진이 상대적으로 프로그래밍하기 어렵고 OpenGL 에 최적화 되어 있는 등, D3D 개발자들에게는 난적인 것도 이유이긴 하다). 겨우 2~3개 정도의 게임에만 사용되고 있는 엔진에만 메달린다면 도대체 그 벤치마크가 정말 50% 이상이라도 신뢰도를 가질 수 있겠는가? 실제로 작년 한 해만 해도 퀘이크 3 보다 20개 이상의 게임이 실제로 시장에서 더 많이 팔려나갔다.

 퀘이크 3에 대해서라면 만만한게 OpenGL 이다. 대부분의 하드웨어 사이트 리뷰어들은 시간에 쫓긴다. 3D MAX 나 SoftImage, Maya 같은 어플리케이션들은 돌릴 시간도 없고 벤치마크를 위해서 배우기에는 무척 까다롭다. 물론 이런 어플리케이션들을 위한 벤치 스크립트도 나와 있긴 하지만 그것도 대중적이지 못하고 벤치마크를 위해서 기백 만원에서 기천 만원까지 하는 프로그램을 구입하기도 만만치 않은 문제이다(我利愛手娛 버전으로 해결한다는둥의 말도 안되는 소리는 하시지 말기 바란다. --+). 또 다른 핑계꺼리 하나는, 현재 대부분의 OpenGL 을 지원하는 PC 기반 하드웨어들은 그래픽 어플리케이션에 충분히 써먹을 만한 OpenGL ICD 드라이버를 내놓지 못한다는 점도 있긴 하다. 퀘이크 3는 부분적이긴 하지만 OpenGL 을 테스트 하기 위한 좋은 조건을 제공한다. 게임이 애초에 탄생할때 부터 OpenGL 을 기반으로 만들어진 게임이기 때문이다. 하지만 OpenGL 은 그 특성상 매우 드라이버 지향적이라는 점이다. 동일한 성능의 하드웨어라도 드라이버의 종류나 버전 등에 따라서 판이하게 다른 결과가 나오는 일을 독자 여러분들은 번번히 경험해 보셨을 것이다. 또한 그래픽 카드 벤더들은 자신의 제품이 출시되면 이 퀘이크 3라는 게임의 제물이 될 것을 예감하고 오로지 퀘이크 3 OpenGL 만을 위해서만 자사의 하드웨어와 드라이버를 최적화 시킨다. 다른 게임들은 밀려도 상관없다. 일단 퀘이크 3 테스트만 거치게 되면 시장에서 인정받는 이상한 풍토 때문이다. 이래서 제작사만 탓할 일도 아니다

.

 OpenGL 이 아주 범용적이고 가능성 있는 API 이긴 하지만 D3D 로 나오는 게임은 점점더 많아지고 있으며 Xbox 가 출현하게 되면 그 정도는 더 심해 질 것이다. 더군다나 세상에는 그래픽 카드가 nVIDIA 의 지포스 시리즈만 있는 것도 아니다. 편식증은 사람을 독선적으로 만들고 변화에 둔감해지는 바보만을 양산한다. 실제로 nVIDIA 의 카드들은 유독 퀘이크 3에만 휠씬 월등한 퍼포먼스를 보여주는 것이 단순히 그 제품이 정말 잘나서 일까? 부두 카드를 옹호하는 사용자들이 하는 말이 그 말이었다. 극도의 성능은 나오지 않지만... 대부분의 게임에서 무난한 성능에 가격이 만족스럽다는... 퀘이크 3가 잘 돌아간다고 해서 모든 게임에서 잘 돌 것이라는 착각은 버려야 한다.

 그렇다고 해서 퀘이크 3가 마냥 나쁘다든지, 벤치마크에 적당하지 못한 게임이라는 것은 결코 아니다. 단지 우리들은 보다 다양하고 객관적인 시각을 견지할 수 있어야 한다는 것이다. 하지만 불행하게도 우리는 적절하고 공정한 벤치마크 게임이나 프로그램을 별로 찾을 수 없다. 대부분의 게임들이 그래픽적인 부분 이외에 AI 나 다양한 스케쥴링의 상호작용에 의해서 복잡하게 구성되는 반면에 대부분의 테스트들은 단순한 필레이트나 트라이앵글의 생성능력, 혹은 랜더링의 속도만을 고찰한다. 게임이 단순히 그래픽만으로 이루어지는 생성물이 아니란것은 본인보다는 여러분이 더 잘알고 계실 것이다. 이런 점에서 볼때 MadOnion.com 의 3Dmark 프로그램은 꽤나 객관적인 프로그램일 수도 있다. 나름대로 맥스 페인 등의 게임에 사용되고 있는 엔진을 이용해서 실제의 게임에 근접한 벤치마크를 수행하며, 충분한 부하를 걸어 게임화면의 초당 프레임에 대해서 집중적인 결과를 도출하기 때문이다.

 D3D 게임에 대해서도 필자는 차라리 리스텍 엔진을 이용한 게임에 대한 벤치마크가 이루어져야 된다고 생각하며 많은 이들도 실제로 그렇게 이야기하고 있다. 리스텍 엔진이 그렇게 대단하다고 개인적으로 생각하지는 않지만 시장에서 가장 많이 팔리고 가장 쉽게 접할 수 있는 게임이 벤치마크의 대상이 되어야 한다는 생각은 전혀 무리가 없다고 본다. 하지만 누가 리스텍 엔진을 사용한 게임을 벤치마크 하는가? 눈을 씻고 찾아봐도 없다.

 벤치마크에 대한 또 다른 문제점 중에 하나는 게임 개발자들이 그들 자신의 게임이 벤치마크 대상이 될 수 있다는 생각을 애초에 가지고 있지 않다는 것이다. 양산되고 있는 수 많은 게임들이 아예 차체적인 프레임 레이트를 표시할 수 있는 기능조차 없다. MDK2 같은 게임들은 적절하고 다양한 특징들을 표시해 주고 있지만, 이 게임에 대해서 벤치마크를 해보려고 시도하는 이들도 별로 없다. 가뜩이나 투자자들의 압력과 메니저의 압박에 시달리는 개발자들에게 이런 소리를 하는 것 조차도 미안하긴 하지만, 개발자가 신경쓰지 않게 되면 이 문제는 누구도 해결할 수 없게 된다. 출시 되는 많은 게임들이... 그리고 개발자 자신이 3D 나 그래픽적인 부분에서 자신이 있다면, 그 게임에는 퍼포먼스를 테스트할 수 있는 툴들을 집어 넣어 줘야 한다. 이런 것이 왜 당연하게 받아들여지지 않는 것일까? 좀더 많은 테스트 기능을 가진 게임들이 나와 주었으면 한다. 우리나라도 슬슬 제대로 된 3D 게임이 나오기 시작하는 요즘, 이런 것들에 주목할 필요는 있지 않을까? 자신 스스로 자기가 만든 게임에 대한 가치의 척도를 부여하는 작업은 창조자로서는 당연한 일 아닌가?

 테스트의 척도가 필레이트나 단순한 폴리곤 생성 능력에만 제한 되어서는 결코 안 된다. 텍스처링의 능력이나 게임이 변화하는 순간 등의 Context-Switching 같은 부분의 병목 구간에서의 프레임 저하, 이미지 자체의 퀄리티에 대한 보다 상세한 부분까지도 벤치마크에 포함되어야 한다. 개발자들과 게이머들의 관심이 이런 곳에 집중될 때 우리는 제대로된 벤치마크의 결과를 느낄 수 있을 것이다.

Written by madman
출처 : MAD 3D