그래픽스

콜 오브 듀티는 화면의 어디를 더 열심히 그릴까

·17분·English
목차방금 드러난 띠에는 기록이 없습니다공평한 몫에서 제 몫으로총량은 고정, 남는 광선은 화면 가운데부터같은 광선을 다시 쏘는 변화 감지비용과 남은 숙제참고 자료

1인칭 슈터에서 무기를 들어 올리거나 옆으로 휘두르면 화면 오른쪽 아래를 차지하던 총이 비켜나면서 그 뒤에 있던 벽과 상자, 때로는 적이 새로 드러납니다. 1초에도 몇 번씩 일어나는 일이라 보통은 의식하지도 않습니다. 그런데 레이 트레이싱을 켠 게임에서는 이 새로 드러난 띠가 조금 특별합니다. 화면의 나머지는 지난 수십 프레임 동안 조금씩 모아 둔 결과가 있는데 이 띠에는 모아 둔 것이 하나도 없습니다.

숲속에서 벌어지는 교전 장면입니다. 화면 왼쪽 앞에는 헬멧을 쓴 병사의 어두운 실루엣과 총이 화면 일부를 가리고 있고, 그 너머로 붉은 잎이 깔린 비탈에서 다른 병사 둘이 총을 겨누며 전진합니다. 나무 사이로 뿌연 빛이 비쳐 듭니다.

콜 오브 듀티: 모던 워페어 4 공개 이미지. 화면 앞쪽의 총과 사람이 그 뒤의 풍경을 가리고 있습니다. 이미지: Activision, 공식 발표 글.

프레임 N−1과 프레임 N을 나란히 놓은 그림. 두 화면 모두 문, 기둥, 상자가 있는 방이고 오른쪽 아래에서 총이 화면 가운데를 향해 있습니다. 프레임 N에서는 총이 왼쪽으로 휘둘러져 있고, 총이 원래 있던 자리 중 이제 드러난 부분이 주황 빗금으로 칠해져 있습니다. 이 빗금은 상자의 일부와 바닥을 덮고 있습니다. 아래 범례는 주황 빗금이 '방금 드러난 곳: 지난 프레임에는 총에 가려 있어 쌓아 둔 기록이 없습니다', 나머지 화면은 '지난 프레임에도 보였으니 그때까지 모은 결과를 이어 씁니다'라고 설명하고, 총이 움직일 때마다 이런 띠가 총의 뒤쪽 가장자리를 따라 생긴다고 적혀 있습니다.

Infinity Ward Poland에서 콜 오브 듀티 시리즈의 레이 트레이싱을 이끄는 Michał Olejnik은 2026년 7월 SIGGRAPH의 Advances in Real-Time Rendering 코스에서 Variable Rate Ray Tracing in Call of Duty: Modern Warfare 4라는 강연으로 이 띠를 어떻게 다루는지 공개했습니다. 코스 소개 글은 문제를 이렇게 적습니다. 고정된 비율로 광선을 쏘고 화면 공간에서 노이즈를 지우는 전통적인 방식으로는 부족했다. 디스오클루전 결함과 시간 지연은 경쟁 플레이 중에 너무 거슬린다.

제목의 질문에 먼저 답하면 콜 오브 듀티가 더 열심히 그리는 곳은 방금 드러난 곳, 그리고 화면 가운데입니다. 한 프레임에 쏘는 광선의 총량은 그대로 두고 오래 안정된 곳에서 광선을 덜어 내 방금 드러난 곳에 몰아줍니다. 그러고도 남는 몫은 화면 가운데부터 먼저 받습니다. 강연은 이 묶음을 VRRT(Variable Rate Ray Tracing, 가변 비율 레이 트레이싱)라고 부릅니다. 강연에 따르면 모던 워페어 4의 출시판에서 이 방식이 쓰이는 곳은 레이 트레이싱 반사와 간접광입니다.

방금 드러난 띠에는 기록이 없습니다

레이 트레이싱은 화면의 픽셀마다 그 자리에 보이는 표면에서 장면 속으로 가상의 선, 광선을 쏘아 무엇에 부딪히는지 보고 빛을 계산하는 방식입니다. 반사라면 거울처럼 튕긴 방향으로, 간접광이라면 표면 위의 여러 방향 중 하나를 골라 쏩니다. 정확한 값을 얻으려면 픽셀마다 여러 방향으로 쏘아 평균을 내야 합니다. 그런데 게임에는 그럴 시간이 없습니다. 강연은 광선이 비싸서 보통 픽셀당 1개 정도로 제한되고, 그래서 훨씬 더 시끄럽다고 말합니다.

한 방향만 보고 정한 값은 픽셀마다 들쭉날쭉합니다. 같은 회색 벽인데도 어떤 픽셀은 밝고 어떤 픽셀은 어두워 화면에 모래를 뿌린 것처럼 보입니다. 이것이 레이 트레이싱의 노이즈이고 이것을 지우는 단계를 디노이저라고 합니다.

디노이저의 도구는 크게 둘입니다. 하나는 시간입니다. 지난 프레임까지 모은 결과와 이번 프레임의 광선 1개를 섞어 가면 프레임마다 다른 방향을 쏘니 평균이 점점 정확해집니다. 강연의 디노이저는 픽셀마다 지금까지 섞은 샘플 수를 함께 적어 두고 카메라가 움직이면 그 기록을 따라 옮깁니다. 다른 하나는 공간입니다. 주변 픽셀과 섞어 흐리게 하면 한 프레임 안에서도 노이즈가 줄지만 서로 다른 자리의 값을 섞는 것이라 디테일이 뭉개지고 값이 치우칩니다.

시간 쪽 도구는 게임은 왜 4K를 4K로 그리지 않을까에서 다룬 업스케일러와 같은 기계입니다. 지난 결과를 모션 벡터로 따라가 가져오는 재투영, 그렇게 쌓아 둔 기록인 히스토리, 물체가 비켜나며 새로 드러난 자리에는 히스토리가 없다는 디스오클루전까지 모두 그 글에 있습니다. 제가 보기에 둘의 차이는 무엇을 모으느냐뿐입니다. 업스케일러는 프레임마다 픽셀 안의 다른 자리를 찍어 해상도를 모으고 디노이저는 프레임마다 다른 방향으로 광선을 쏘아 빛의 평균을 모읍니다.

픽셀마다 쌓인 샘플 수를 히스토리 길이라고 부르겠습니다. 강연의 데모는 이 길이를 최대 64로 둡니다. 광선을 프레임마다 1개씩 쏘면 방금 드러난 픽셀이 다른 곳만큼 매끄러워지기까지 64프레임이 걸립니다.

방금 드러난 픽셀의 히스토리 길이를 그린 그래프. 가로축은 드러난 뒤 지난 프레임 수, 세로축은 쌓인 샘플 수이고 강연 데모 설정인 최대 64까지 표시돼 있습니다. 주황 실선은 프레임마다 광선 1개를 쏠 때로, 0에서 출발해 64프레임 만에 64에 닿습니다. 파란 점선은 프레임마다 16개(코드 상한)를 쏠 때로, 4프레임 만에 64에 닿습니다. 아래에는 같은 회색 벽을 샘플 1개, 4개, 16개, 64개만큼 모았을 때의 8×8 픽셀 조각이 있는데, 1개는 얼룩덜룩하고 64개는 고릅니다. 맨 아래에 노이즈의 크기는 쌓인 샘플 수의 제곱근에 반비례하고, 64프레임은 120Hz로 약 0.53초, 60Hz로 약 1.07초라고 적혀 있습니다.

64프레임은 120Hz로 약 0.53초, 60Hz로 약 1.07초입니다. 강연은 콜 오브 듀티가 120Hz 성능 모드와 60Hz 품질 모드를 기준으로 삼는다고 밝히는데 어느 쪽이든 총을 한 번 휘두른 자리가 다시 매끄러워지기 전에 다음 움직임이 옵니다.

히스토리가 짧은 동안 디노이저가 할 수 있는 일은 공간 블러를 세게 거는 것뿐입니다. 여기서 한 단계가 더 꼬입니다. 요즘 업계 표준으로 쓰이는 SVGF는 픽셀 값이 프레임마다 얼마나 흔들리는지, 즉 분산을 보고 블러 세기를 정합니다. 늘 같은 값이 나오는 선명한 그림자 경계는 흐리지 않고, 값이 흔들리는 반그림자만 흐립니다. 그런데 이 분산은 시간에 걸쳐 모은 샘플로 추정하므로 히스토리가 없는 곳에서는 추정할 수 없습니다. 그래서 그곳만 블러가 세게 걸리고 바로 옆 영역과 디노이즈 세기가 달라집니다. 강연은 이것을 두고 캐릭터를 움직여 화면에 결함을 칠할 수 있다고 표현하며 콜 오브 듀티 같은 1인칭 게임에서 특히 눈에 띈다고 덧붙입니다.

강연이 콜 오브 듀티의 사정을 짚는 문장은 이렇습니다. 콜 오브 듀티에서는 대부분의 액션이 무기 주변에서 일어나는데, 무기는 끊임없이 환경과 적 플레이어를 새로 드러낸다. 이것이 화면의 선명함을, 그래서 게임플레이를 해친다. 강연의 데모 영상은 대부분 구석이 어두워지는 효과인 AO(앰비언트 오클루전)만 그려 보여 줍니다. 아래가 이 문장 옆에 실린 화면입니다.

AO만 흰색과 회색으로 그린 사무실 화면입니다. 오른쪽 아래에서 손이 권총을 들고 있고, 권총 둘레가 검은 사각형으로 표시돼 왼쪽 위에 크게 확대돼 있습니다. 확대 창에서는 권총 뒤 선반의 물건들과 권총 가장자리 주변 그늘이 얼룩덜룩하게 뭉개져 있습니다. 왼쪽 아래에는 'Temporal max 64', 'VRRT max 16', 'Target spp 1.50' 같은 값이 보이는 디노이저 설정 창이 있습니다.

시간 누적에 반경 8의 공간 블러를 더한 화면. 슬라이드는 이것을 AO 같은 단순한 경우에는 그럭저럭이지만 멀티플레이 게임에는 여전히 거칠다고 적습니다. 이미지: Michał Olejnik, Variable Rate Ray Tracing in Call of Duty: Modern Warfare 4 p17, © 2026 SIGGRAPH Advances in Real-Time Rendering in Games course.

움직이는 캐릭터도 마찬가지입니다. 강연이 꼽은 대표적인 예는 캐릭터와 환경이 서로 가리는 곳, 특히 신발 근처입니다. 저자는 신발 주변의 AO가 늦게 따라오는 현상을 디노이징에서 특히 싫어하는 것으로 꼽습니다.

AO만 그린 같은 사무실에서 소총을 든 캐릭터가 화면 왼쪽으로 달려가는 장면입니다. 캐릭터의 발 뒤쪽 바닥에 회색 얼룩이 점점이 이어져, 발이 지나간 자리를 따라 꼬리처럼 남아 있습니다. 화면 아래쪽 가운데에는 권총을 든 손이 있고, 양쪽 아래 구석에 디버그 설정 창이 있습니다.

히스토리를 버리는 규칙 없이(분산 클램프 끔) 16프레임을 쌓은 화면. 달리는 캐릭터의 발밑 그늘이 바닥에 얼룩진 꼬리로 남습니다. 이미지: Michał Olejnik, Variable Rate Ray Tracing in Call of Duty: Modern Warfare 4 p29, © 2026 SIGGRAPH Advances in Real-Time Rendering in Games course.

멀티플레이 게임이라 걱정은 화질에서 끝나지 않습니다. 저자는 초기 실험을 돌아보며 디노이징 결함이 멀티플레이의 시인성과 공정성에 미칠 영향을 크게 걱정했다고 적습니다. 제가 보기에 그 이유는 단순합니다. 적이 막 모퉁이를 돌아 나온 자리가 바로 히스토리가 0인 자리입니다.

머신러닝 디노이저도 이 문제를 비켜 가지 못합니다. 강연은 머신러닝이 사람이 조율하기 어려운 판단을 잘 맡는다고 인정하면서도 히스토리가 비었거나 짧다는 사실에 근본적으로 묶여 있다고 말합니다. 그리고 질문을 뒤집습니다. 히스토리가 없는 것을 잘 숨기는 대신 히스토리 자체를 채우면 어떨까요. 그 자리에 광선을 더 쏘면 됩니다.

공평한 몫에서 제 몫으로

광선을 어디에 몇 개 쏠지는 콜 오브 듀티에서 오래된 고민입니다. 2025년 Black Ops 7은 PC판에 레이 트레이싱 반사를 넣으면서 VRRT의 첫 기본형을 함께 실었습니다. 광선을 픽셀당 1개보다 적게 쏘고 빈자리를 시간으로 채우는 방식입니다. 대표 모드인 쿼터 레이트는 화면을 2×2 픽셀 묶음(쿼드)으로 나누고 쿼드마다 네 칸 중 하나를 무작위로 골라 광선 1개를 쏩니다. 강연의 표현으로는 각 픽셀이 같은 확률로입니다. 픽셀 하나로 보면 프레임마다 광선을 받을 확률이 0.25입니다.

이 방식은 공평합니다. 문제는 그 공평함입니다. 64프레임째 아무 일도 없는 하늘도 방금 총이 비켜난 자리도 똑같이 4분의 1을 받습니다. 하늘은 그만큼이 필요 없고 방금 드러난 자리는 그것으로 한참 모자랍니다.

강연은 VRRT를 네 기둥으로 정리합니다. 히스토리가 없는 곳에 광선을 1개보다 많이 쏘는 슈퍼샘플링, 안정된 곳에 1개보다 적게 쏘는 언더샘플링, 둘을 정해진 예산 안에 맞추는 로드 밸런서, 그리고 언제 히스토리를 버려야 하는지 알려 주는 변화 감지입니다.

먼저 슈퍼샘플링입니다. 광선을 쏘기 전에 어느 픽셀이 방금 드러났는지 알아야 하므로 디노이저의 시간 단계를 둘로 쪼갭니다. 지난 결과를 따라가 가져오는 재투영을 광선보다 먼저 돌리고 섞는 누적은 광선 뒤로 보냅니다. 재투영 단계에서 히스토리가 끊긴 픽셀을 찾으면 그 픽셀이 쏠 광선 수를 그 자리에서 정해 광선 단계로 넘깁니다. 강연 코드에서 이 결정을 내리는 한 줄을 줄여 옮기면 이렇습니다.

int requestedRayRate = disocclusion ? targetSampleCount : 1;

방금 드러났으면 히스토리를 한 번에 채울 만큼, 아니면 1개를 요청합니다. 강연은 이것이 가장 단순한 형태이고 더 부드럽게 줄여 가도 된다고 덧붙입니다. 강연 코드의 상한은 16입니다. 앞의 히스토리 그래프에서 파란 점선이 16개씩 쏘는 경우로, 최대 64까지 쌓는 데이터라면 4프레임이면 찹니다. 강연은 히스토리를 다 채우지 못하더라도 SVGF와 공간 필터가 잘 돌기에 충분하다고 말합니다.

반대쪽이 언더샘플링입니다. 히스토리가 가득 찬 픽셀은 값이 얼마나 흔들리는지 보고 광선 수를 1 아래로 낮춥니다. 이때 1보다 작은 값은 이번 프레임에 광선을 쏠 확률로 읽습니다. 0.25를 요청한 픽셀은 네 프레임에 한 번꼴로 쏩니다. 쏠지 말지는 화면에 깐 블루노이즈 텍스처로 정합니다. 픽셀마다 0과 1 사이의 문턱값이 적힌 무늬를 깔고 요청한 확률이 문턱보다 크면 쏩니다. 블루노이즈는 큰 값과 작은 값이 한곳에 뭉치지 않고 고르게 흩어진 무늬라 같은 확률을 요청한 영역에서 쏘는 픽셀도 고르게 흩어집니다.

이렇게 하면 지난해의 쿼터 레이트는 특별한 모드가 아니게 됩니다. 강연의 말대로 모든 픽셀이 확률 0.25를 요청하면 그만입니다. 달라진 점은 이제 픽셀마다 이웃을 모른 채 제 몫을 따로 정한다는 것입니다. 요청할 수 있는 범위는 아래로 64분의 1, 위로 16입니다. 64프레임에 한 번 쏘는 픽셀과 한 프레임에 16개를 쏘는 픽셀이 같은 화면에 함께 있을 수 있습니다. 강연 시점(2026년 7월)에 저자는 이 언더샘플링을 모던 워페어 4에 넣을 계획이라고 표현했습니다.

왼쪽은 BO7(2025)의 쿼터 레이트로, 4×4 픽셀이 굵은 선으로 2×2 쿼드 네 개로 나뉘어 있고 모든 칸에 25%가 적혀 있습니다. 쿼드마다 한 칸에만 파란 점이 찍혀 '이번 프레임에 뽑힌 칸'을 나타내고, 아래에 '어느 칸이든 같은 몫 = 확률 0.25'라고 적혀 있습니다. 오른쪽은 MW4의 픽셀별 요청을 예시 값으로 보인 6×4 격자입니다. 왼쪽 위 오래 안정된 곳은 1/64, 1/4, 1/2, 1처럼 작은 값이고, 주황 테두리로 묶인 오른쪽 아래 방금 드러난 곳은 4와 16입니다. 칸마다 값이 클수록 긴 파란 막대(로그 눈금)가 있고, 아래 눈금은 1/64에서 16까지이며 1 미만은 쏠 확률, 1 이상은 광선 개수라고 적혀 있습니다.

총량은 고정, 남는 광선은 화면 가운데부터

픽셀마다 제 몫을 정하게 두면 한 가지 문제가 남습니다. 화면에서 일어나는 일에 따라 총량이 들쭉날쭉해집니다. 큰 벽이 한꺼번에 드러나는 프레임에는 광선이 폭증하고 그만큼 프레임 시간도 튑니다. 강연 영상에서도 슈퍼샘플링만 켜자 디스오클루전 결함은 사라졌지만 예산을 넘었습니다. 120Hz를 목표로 하는 게임에는 곤란한 일입니다.

그래서 VRRT의 예산은 픽셀당 평균 광선 수 슬라이더 하나로 정합니다. 강연이 드는 예는 1.5입니다. 픽셀들이 무엇을 요청하든 이번 프레임에 쏘는 총량은 이 값에 맞춥니다.

맞추는 방법을 강연은 물 채우기(water filling) 알고리즘이라고 부릅니다. 먼저 픽셀마다의 요청을 몇 개의 칸, 버킷으로 반올림해 버킷마다 픽셀이 몇 개인지 셉니다. 합이 예산을 넘으면 픽셀이 들어 있는 가장 높은 버킷을 통째로 한 칸 내리고 예산 안에 들어올 때까지 되풀이합니다. 모자라면 반대로 낮은 버킷부터 올립니다. 강연이 굵게 강조한 대로 로드 밸런서는 픽셀 하나하나의 요청을 다루지 않고 버킷 단위의 문턱만 정합니다.

요청을 버킷으로 세는 물 채우기 예를 전후로 비교한 그림. 맨 위에 '목표: 픽셀 12개 × 평균 1.5 = 광선 18개'라고 적혀 있습니다. 왼쪽 '전'에는 버킷 ½, 1, 2, 3에 픽셀이 각각 2, 4, 4, 2개 들어 있고, 합 1 + 4 + 8 + 6 = 19가 18을 넘어 주황으로 표시됩니다. 버킷 3에서 버킷 2로 주황 화살표가 '넘치니 3→2'라고 가리킵니다. 오른쪽 '후'에서는 버킷 3이 비고 버킷 2에 픽셀이 6개가 되었으며, 새로 내려온 두 개가 주황입니다. 합 1 + 4 + 12 + 0 = 17로 예산 18 안에 들어와 파랗게 표시됩니다. 아래에 밸런서는 픽셀 하나하나가 아니라 버킷째로 옮긴다고 적혀 있습니다.

그림은 강연 슬라이드의 예를 다시 그렸습니다. 픽셀이 12개이니 평균 1.5면 예산은 18개입니다. 요청을 모두 더하면 19개라 넘치고 가장 높은 버킷 3의 픽셀 두 개를 버킷 2로 내리면 17개로 예산 안에 들어옵니다.

버킷 단위로만 옮기는 데에는 약점이 있습니다. 너무 거칩니다. 화면 전체가 안정돼 모든 픽셀이 광선 1개를 요청했고 목표가 1.5라고 해 보겠습니다. 예산이 남으니 버킷을 올려야 하는데 버킷 1을 통째로 올리면 모든 픽셀이 2개가 되어 평균 2.0으로 예산을 넘습니다. 버킷의 절반만 올릴 방법이 없습니다.

그래서 버킷 안을 다시 나눕니다. 화면을 가운데에서 바깥으로 여러 겹의 고리, 링으로 나누고 버킷마다 링별 픽셀 수도 셉니다. 그러면 버킷 문턱 안에서 링 문턱을 하나 더 찾아 버킷의 일부만 올릴 수 있습니다. 위의 예에서는 화면 안쪽 절반은 광선 2개, 바깥쪽은 1개가 됩니다. 평균은 정확히 1.5입니다.

모든 픽셀이 광선 1개를 요청했고 평균 목표가 1.5일 때를 두 화면으로 비교한 그림. 왼쪽 '버킷째로만 올리면'은 화면 전체가 파랗게 칠해지고 2가 적혀 있으며, 아래에 '전부 2개 → 평균 2.0', '목표 1.5를 넘음. 반만 올릴 방법이 없음'이라고 적혀 있습니다. 오른쪽 '링 문턱까지 쓰면'은 화면 가운데의 조준점을 둘러싼 사각형 고리들이 그려져 있고, 굵은 파란 선의 링 문턱 안쪽이 2, 바깥이 1입니다. 아래에 '안쪽 절반 2개, 바깥 1개 → 평균 1.5', '화면 가운데가 먼저 받음'이라고 적혀 있습니다.

링은 계산하기 쉽게 사각형으로 잡아서 저자의 말로는 별로 둥글지 않습니다. 그래도 이것으로 제목의 두 번째 답이 나옵니다. 남는 광선은 가운데부터 받습니다. 강연은 이것을 시선이 머무는 곳을 더 정밀하게 그리는 포비티드(foveated) 렌더링에 빗대어 설명합니다. 보통 화면 가운데 근처의 품질이 더 좋기를 바라고, FPS라면 특히 그렇다. 조준점이 늘 화면 가운데에 있는 게임이니 자연스러운 선택입니다.

총량이 고정이라는 것은 거꾸로도 작동합니다. 화면에 아무 일도 없으면 밸런서가 남는 예산만큼 낮은 버킷부터 올려 안정된 곳의 화질이 좋아집니다. 그래서 언더샘플링이 1 아래로 낮춘 요청도 예산이 넉넉하면 다시 올라갑니다. 1 미만의 광선 수가 실제로 남는 것은 예산이 빠듯할 때입니다. 강연의 정리대로 VRRT는 예산을 지키면서 안정된 곳의 광선을 불안정한 곳으로 옮긴 결과입니다.

같은 장면을 두 장 나란히 놓은 그림입니다. 철제 기둥과 창살 너머로 아치형 창과 타일 벽, 세면대가 있는 오래된 실내가 보입니다. 왼쪽 'VRRT Off'에서는 기둥과 창살 뒤 벽과 바닥에 모래를 뿌린 듯한 노이즈가 띠처럼 남아 있습니다. 오른쪽 'Supersampling + undersampling + load balancing'에서는 같은 자리가 매끈합니다.

왼쪽은 VRRT를 끈 화면이고, 오른쪽은 슈퍼샘플링, 언더샘플링, 로드 밸런싱을 모두 켜 광선 예산을 지키면서 같은 자리를 채운 화면입니다. 이미지: Michał Olejnik, Variable Rate Ray Tracing in Call of Duty: Modern Warfare 4 p51, p54, © 2026 SIGGRAPH Advances in Real-Time Rendering in Games course.

아래 실험실에서 이 재분배를 직접 볼 수 있습니다. 설명을 위해 단순화한 모형이라 실제 코드나 수치와는 다릅니다. 160×90 화면에서 카메라는 그대로 두고 총만 옆으로 움직이며 광선 하나는 미리 정한 AO 값으로 동전을 한 번 던지는 것으로 대신합니다. 픽셀마다 최대 64개의 표본을 평균해 히스토리로 쌓습니다. 요청 규칙도 단순해서 히스토리가 0이면 16개, 쌓는 중이면 1개, 가득 차고 안정되면 흔들림에 따라 2분의 1에서 16분의 1까지를 요청합니다(이 문턱값은 실험실이 정했습니다). 변화 감지와 SVGF는 넣지 않았습니다. 링은 사각형 대신 둥글게 잡았습니다.

가변 광선률 실험실Interactive
VRRT
보기
방금 드러남쌓는 중안정

왼쪽은 VRRT 끔, 오른쪽은 켬입니다. 링 보정을 켠 동안에는 이번 프레임에 쏜 광선 총수가 두 화면이 같습니다. 다른 것은 그 광선을 어느 픽셀에 썼느냐입니다.

총을 끌어 옮기거나 방향키로 움직이기Infinity Ward의 VRRT를 단순화한 원리 모형입니다. 실제 코드나 수치가 아니며, 광선 하나는 미리 정한 AO 값으로 동전을 한 번 던지는 것으로 대신했습니다.

160×90 픽셀 화면 앞을 소총 실루엣이 지나갑니다. 픽셀마다 앰비언트 오클루전을 광선으로 추정하고 최대 64개 표본의 히스토리에 쌓습니다. VRRT를 끄면 모든 픽셀이 같은 몫(평균 광선 수)을 받아, 총이 지나가며 드러낸 픽셀에 표본이 한두 개뿐인 거친 꼬리가 남습니다. 켜면 방금 드러난 픽셀은 광선 16개, 쌓는 중인 픽셀은 1개, 히스토리가 꽉 차고 안정된 픽셀은 ½·¼처럼 1개 미만을 요청하고, 로드 밸런서가 요청을 버킷(1/64…1/2, 1…16)으로 묶어 가장 높은 버킷부터 강등하거나 가장 낮은 버킷부터 승급해 예산에 맞춘 뒤, 링 보정으로 화면 중앙에 가까운 픽셀부터 한 단계 더 줘 예산을 정확히 씁니다. 링 보정을 켠 동안에는 두 모드의 이번 프레임 총 광선 수가 같습니다. 결과, 픽셀별 광선 수, 히스토리 길이를 바꿔 보고, 평균 광선 수(0.5~4)와 링 보정을 조절합니다. Infinity Ward의 기법을 단순화한 원리 모형이며 실제 코드나 수치가 아닙니다.

처음에는 '나란히'로 열려 왼쪽이 VRRT 끔, 오른쪽이 켬이고 총이 저절로 좌우를 오갑니다. 총은 끌거나 방향키로 직접 옮길 수도 있습니다. 링 보정을 켠 동안에는 두 화면이 이번 프레임에 쏜 광선 수가 같습니다. 이런 순서로 해 보세요.

  • 먼저 보기를 '히스토리 길이'로 바꿔 보세요. 총이 지나간 뒤 히스토리가 짧은 어두운 꼬리가 끔에서는 길게, 켬에서는 짧게 남습니다. 패널 아래 막대는 이번 프레임의 광선이 '방금 드러남', '쌓는 중', '안정' 픽셀에 나뉜 비율이고 색의 이름은 '결과' 보기의 범례에 있습니다.
  • 다음으로 '픽셀당 평균 광선'을 0.5로 내리고 '결과' 보기로 돌아가 보세요. 기본값 1.5에서는 결과 화면의 차이가 총 바로 뒤의 얼룩과 번짐 정도로 미묘합니다. 예산이 빠듯해지면 끔 쪽 꼬리의 얼룩이 더 넓게 보입니다.
  • '픽셀별 광선 수' 보기는 이번 프레임에 픽셀마다 배정된 광선 수를 보여 줍니다(1 미만은 쏠 비율입니다). 켬에서는 방금 드러난 자리에 광선이 몰리고 남은 예산은 가운데의 둥근 영역이 바깥보다 하나 더 받습니다. 평균 1.5에서는 안정된 픽셀도 1~2개를 받고 1 미만은 0.5처럼 예산을 낮췄을 때 보입니다.
  • 마지막으로 '링 보정'을 꺼 보세요. 버킷 단위로만 맞추니 남는 예산을 나눠 줄 방법이 없어 실험실에서는 평균 1.5일 때 예산의 69% 정도만 씁니다. 앞에서 본 버킷의 거친 문제가 그대로 드러납니다.

같은 광선을 다시 쏘는 변화 감지

방금 드러난 곳은 찾기 쉽습니다. 지난 프레임에 그 자리의 깊이가 달랐으니 비교하면 됩니다. 어려운 것은 그 자리는 그대로인데 빛이 바뀐 경우입니다. 물체가 움직이거나, 차가 지나가거나, 조명이 바뀌면 히스토리는 멀쩡히 남아 있지만 더는 맞지 않습니다. 이런 히스토리를 버리지 못하면 그늘과 반사가 실제보다 늦게 따라오는 시간 지연이 생깁니다. 앞의 신발 예가 이 경우입니다.

업계의 표준 해법은 분산 기반 색 클램핑입니다. 4K 글의 이웃 색 클램핑과 같은 생각으로 지금 주변 픽셀들의 색 범위를 보고 히스토리를 그 범위 안으로 밀어 넣습니다. 강연은 여기에 꽤 단호합니다. 이 방식은 멈춰 있는 신호까지 과하게 잘라 내기도 하고 애초에 낡은 히스토리를 찾아내는 감지가 아니라 매 프레임 조금씩 고쳐 쓰는 보정이라고 짚습니다. 결론은 이렇습니다. 업계 표준인 분산 기반 색 클램핑은 그냥 충분하지 않다. 언더샘플링과도 맞지 않습니다. 광선을 64분의 1로 쏘는 곳에서는 주변에 비교할 새 샘플이 거의 없습니다.

VRRT의 넷째 기둥은 그 대신 SVGF의 저자 Christoph Schied가 후속 논문 Gradient Estimation for Real-Time Adaptive Temporal Filtering에서 제안한 temporal gradient, 말하자면 시간 변화량입니다. 화면을 작은 타일로 나누고 타일마다 픽셀 하나를 골라 지난 프레임과 똑같은 광선을 다시 쏩니다. 같은 자리에서, 같은 난수로, 같은 방향으로 쏘니 결과가 다르다면 노이즈 때문이 아니라 그곳의 빛이 실제로 바뀌었다는 뜻입니다. 이 차이를 작은 텍스처에 모아 흐리게 펴면 화면의 어느 부분에서 빛이 변하고 있는지 대략 보이는 지도가 됩니다. 그 지도를 보고 해당 자리의 히스토리를 짧게 자릅니다.

모던 워페어 4는 이 광선을 본 광선보다 먼저, 8×8 픽셀마다 하나씩 쏘는 별도의 작은 패스로 돌립니다. 먼저 돌리니 그 결과가 재투영 단계에 디스오클루전 정보와 나란히 들어가고 빛이 바뀐 곳은 방금 드러난 곳처럼 광선을 더 받습니다. 지도가 거칠다는 약점은 슈퍼샘플링이 메웁니다. 강연 영상의 정리는 짧습니다. 분산 클램핑 없이도 고스팅이 없다.

디버그 화면입니다. 가운데 큰 화면은 AO만 그린 야외 테라스이고, 병사 한 명이 몸을 낮춰 달리고 있습니다. 위쪽 네 칸은 'Current frame'(점이 흩뿌려진 노이즈 원본), 'Reprojected', 'Accumulated', 'Final'입니다. 오른쪽 열의 'Final shot rays (tile avg) 0.516'은 파란 바탕에 병사 자리만 빨갛고, 가운데에 조금 밝은 사각형이 있습니다. 'Reprojected samples 16.0'은 빨간 바탕에 병사 자리만 어둡게 비어 있고, 'Accumulated samples 17.0'은 전체가 고르게 빨갛습니다. 아래의 'Raw temporal gradient 0.0'에는 병사 자리에 붉은 점 몇 개만 흩어져 있고, 'Blurred temporal gradient 0.0'에서는 그 자리가 병사 모양의 빨간 덩어리로 잡힙니다. 왼쪽 아래 설정 창에는 'Temporal max 16', 'VRRT max 16', 'Target spp 1.50'이 보입니다.

병사가 움직인 자리를 변화 감지가 잡아내면(아래 둘째 칸) 그 자리의 히스토리를 비우고(오른쪽 가운데), 광선을 그쪽에 몰아(오른쪽 위) 쏜 뒤에는 히스토리가 다시 찹니다(오른쪽 아래). 이미지: Michał Olejnik, Variable Rate Ray Tracing in Call of Duty: Modern Warfare 4 p59, © 2026 SIGGRAPH Advances in Real-Time Rendering in Games course.

비용과 남은 숙제

이 모든 것의 값은 얼마일까요. 강연의 마지막 표는 1080p, RTX 5090에서 AO를 디노이징할 때의 패스별 시간입니다.

디노이징 패스별 시간을 VRRT 끔(회색)과 켬(파랑)으로 나란히 비교한 막대그래프. 단위는 ms이고 1080p, RTX 5090, AO 기준입니다. 재투영은 끔에 없고 켬 0.13, 누적은 끔 0.15~0.4와 켬 0.09~0.15, 공간 분산 추정은 끔 0.11이고 켬에는 없음, 공간 블러는 양쪽 모두 4×0.13, AO 광선 생성은 끔 0.28과 켬 0.31, 8×8 변화 감지 광선은 켬에만 0.05, 로드 밸런서는 켬에만 0.03입니다. 합계는 끔 0.95~1.20, 켬 1.13~1.19입니다. 아래에 켬에서는 분산 추정과 분산 클램프를 끄고 재투영, 변화 감지, 밸런서가 붙으며, 광선 생성은 간접 디스패치 때문에 조금 늘어난다고, 누적과 합계의 점선 칸 범위는 분산·파이어플라이 클램프 반경에 따라 달라진다고 적혀 있습니다. 맨 아래 VRAM은 디노이저 +144MB, VRRT +0MB, 8×8 변화 감지 +12MB입니다.

합계는 끔이 0.95~1.20ms, 켬이 1.13~1.19ms입니다. 새로 붙는 패스는 모두 작고 분산 추정과 분산 클램프가 빠지면서 일부가 상쇄됩니다. 메모리는 디노이저 자체가 144MB를 쓰지만 VRRT가 더하는 것은 0MB, 변화 감지 텍스처가 12MB입니다. 강연은 이 고정 비용을 광선 예산을 5~10% 낮추면 되찾을 수 있다고 말합니다. 다만 이 표는 AO 기준이고 콘솔 수치는 강연에 없습니다.

저자가 가장 크게 꼽는 성과는 평균이 아니라 최악의 경우입니다. 디노이징의 최악의 시나리오에 대한 기준을 크게 끌어올렸다.

평균 광선 수를 1 아래로 쓸 때의 주의점도 적혀 있습니다. 카메라가 장면을 끊고 넘어간 직후 몇 프레임 동안은 광선을 한 번도 받지 못한 검은 픽셀이 생기므로 공간 블러로 메워야 합니다.

남은 숙제도 강연에 함께 적혀 있습니다. 변화 감지 데모에서도 NPC가 가까이 다가오면 광선이 부족해집니다. 그래도 픽셀당 1개는 넘깁니다.

제가 보기에 이 강연에서 오래 남을 생각은 기법 하나하나보다 질문을 바꾼 방식입니다. 광선을 몇 개 쏠까를 화질 옵션으로 묻는 대신 정해진 광선을 어디에 쓸까를 예산 문제로 물었습니다. 업스케일러가 픽셀을 다 그리지 않고 시간으로 모았듯 VRRT는 광선을 고르게 나누지 않고 모자란 곳으로 옮깁니다. 플레이어가 총을 휘두를 때마다 엔진은 그 뒤에 드러난 띠로 광선을 실어 나르고 있습니다.

참고 자료

강연

기법의 원전

게임과 기사

이 블로그