그래픽스

게임은 왜 4K를 4K로 그리지 않을까

·16분·English
목차예산은 모자라고 한 장엔 정보가 없습니다정보는 시간에 있다움직이면 생기는 일규칙에서 신경망으로사람이 짠 규칙머신러닝이 맡은 자리아낀 예산을 어디에 쓰나참고 자료

요즘 PC 게임의 그래픽 설정을 열면 해상도 옆에 늘 낯선 메뉴가 하나 있습니다. DLSS, FSR, XeSS 같은 이름 아래에 품질, 균형, 성능, 울트라 성능 같은 단계가 붙어 있습니다. 모니터는 4K로 맞춰 두었는데 DLSS를 품질로 두면 게임은 실제로 2560×1440만 그립니다. 성능으로 두면 1920×1080, 울트라 성능이면 1280×720입니다. 화면에 나오는 픽셀 중 그 프레임에 실제로 그린 것은 각각 약 44%, 25%, 약 11%뿐입니다.

그런데도 결과는 생각보다 흐리지 않습니다. 장면이 멈춰 있을 때는 네이티브 4K와 구분하기 어려울 때도 많습니다. 아래 실험실에서 직접 확인해 볼 수 있습니다. 출력은 384×216픽셀로 작게 그려 확대해 보여 주므로 픽셀 하나하나가 보입니다.

시간 누적 업스케일 실험실Interactive
방식
배율
내부 192×108 → 출력 384×216 · 실제로 그린 픽셀 25%4K 출력이면 1920×1080

프레임마다 픽셀 안의 다른 지점을 찍고(지터), 모션 벡터로 지난 프레임의 결과를 끌어와 합칩니다. 멈춰 있는 곳은 프레임이 쌓일수록 네이티브에 가까워집니다.

화면을 누르거나 방향키로 돋보기 옮기기

384×216 출력을 그보다 작은 내부 해상도(품질 1.5배, 성능 2배, 울트라 성능 3배)로 그린 뒤 키웁니다. 저해상 그대로, 바이리니어 확대, 시간 누적(매 프레임 Halton 지터로 픽셀 안의 다른 지점을 찍고 모션 벡터로 지난 프레임을 끌어와 합치는 방식), 네이티브를 바꿔 가며 비교하고, 지터·누적·모션 벡터·3×3 이웃 색 클램핑·얇은 선 잠금·디스오클루전 검사를 하나씩 끄면 무엇이 무너지는지 봅니다. 움직이는 공 뒤에 남는 잔상(고스팅)과 돋보기로 키운 픽셀을 함께 볼 수 있습니다.

오른쪽 아래 돋보기는 화면을 누르거나 방향키로 옮길 수 있습니다. 먼저 이런 것들을 해 보세요.

  • 방식을 '바이리니어'와 '시간 누적'으로 번갈아 바꿔 보세요. 같은 내부 해상도인데 '시간 누적'에서만 울타리 철망과 전선이 살아납니다.
  • '공 움직이기'를 켠 채 '이웃 클램핑'과 '디스오클루전 검사'를 끄면 공 뒤로 잔상이 길게 끌립니다.
  • '얇은 선 잠금'을 끄면 멈춰 있는 울타리와 전선이 깜빡이며 끊어집니다.

결론부터 말하면 이렇습니다. 4K 픽셀을 한 프레임 안에 다 그릴 예산이 없어서 프레임마다 다른 자리의 픽셀을 조금씩 그려 두고 여러 프레임에 걸쳐 다시 모으기 때문입니다. 업스케일링은 흐린 그림을 키우는 기술이라기보다 흩어서 그린 픽셀을 모으는 기술이고 그중 가장 어려운 부분은 지난 프레임에서 무엇을 버릴지 정하는 일입니다. DLSS 2 이후의 머신러닝은 바로 그 판단을 사람이 짠 규칙 대신 맡았습니다.

예산은 모자라고 한 장엔 정보가 없습니다

해상도는 가로와 세로를 곱해서 늘어납니다. 1080p를 기준으로 4K는 정확히 4배입니다.

1080p, 1440p, 4K의 픽셀 수를 실제 비율의 칸으로 비교한 그림. 칸 하나가 640×360픽셀이고, 1080p는 2,073,600픽셀(1.00x), 1440p는 3,686,400픽셀(1.78x), 4K는 8,294,400픽셀(4.00x)입니다. 아래에는 4K 출력에서 DLSS 모드별로 엔진이 실제로 그리는 몫이 칠해진 칸으로 표시돼 있습니다. 품질(1.5x)은 2560×1440으로 약 44%, 성능(2.0x)은 1920×1080으로 25%, 울트라 성능(3.0x)은 1280×720으로 약 11%이고, 나머지 빈 칸은 업스케일러가 채웁니다. 60fps면 이 모두를 16.7ms 안에 그려야 한다고 적혀 있습니다.

픽셀 셰이더, 조명, 그림자 샘플링, 후처리처럼 화면의 픽셀마다 도는 작업은 대체로 픽셀 수에 비례해 비용이 늘어납니다. 60fps를 노리는 게임은 한 프레임을 약 16.7ms 안에 끝내야 합니다. 1080p에서 이 예산을 겨우 맞추던 장면을 4K로 그리면 픽셀 단위 작업만 놓고 봐도 4배가 됩니다. 레이 트레이싱처럼 픽셀마다 광선을 쏘는 효과는 더 아픕니다.

그래서 엔진은 출력 해상도와 픽셀 단위 작업을 떼어 놓습니다.

Epic의 TSR 문서는 이 차이를 예시로 보여 줍니다. 1080p로 그려 4K로 키우면 GPU 프레임 시간이 57.50ms에서 33.37ms로 줄어든다고 하고 이를 GPU 프레임 시간을 절반으로 줄인다고 표현합니다. 업스케일링이 사 주는 것은 결국 이 시간입니다.

가장 쉽게 하려면 낮은 해상도로 그린 그림을 그대로 키우면 됩니다. 늘어난 자리의 색은 주변 픽셀에서 추측합니다. 이웃 네 픽셀을 거리에 따라 섞으면 bilinear입니다.

AMD가 2021년에 내놓은 FSR 1.0이 이런 공간 업스케일러입니다.

실험실 장면의 같은 부분을 성능 2× 배율에서 세 가지로 비교한 그림. 왼쪽 '저해상 그대로'는 저해상 픽셀이 큰 네모로 보이고, 촘촘한 철망은 굵은 X자 무늬로, 가는 전선은 굵은 막대 하나로 뭉개져 있으며 창틀의 가로 살이 빠져 있습니다. 가운데 '바이리니어 확대'는 네모의 경계만 흐려졌을 뿐 철망 무늬와 전선 모양은 왼쪽과 같습니다. 오른쪽 '네이티브'에서는 촘촘한 철망, 가는 전선, 창틀의 가로 살이 모두 보입니다.

하지만 공간 업스케일러에는 넘을 수 없는 한계가 있습니다. 1080p 프레임 한 장에는 픽셀 2,073,600개 분량의 정보만 들어 있습니다. 어떤 필터를 쓰든 그 사이를 그럴듯하게 메울 뿐 그리지 않은 자리에 무엇이 있었는지는 알 수 없습니다. 픽셀보다 가는 전선이나 철망은 낮은 해상도에서 뭉개지거나 끊긴 채 그려지고 그것은 키워도 그대로입니다. 앞 그림의 가운데가 그렇습니다. 바이리니어는 계단을 흐리게 할 뿐 철망의 촘촘한 무늬와 가는 전선은 돌아오지 않습니다. 선명하게 만드는 필터는 남은 가장자리를 강조할 수는 있어도 사라진 선을 되살리지는 못합니다.

정보가 더 필요합니다.

정보는 시간에 있다

게임은 같은 장면을 1초에 수십 번 그립니다. 카메라가 거의 움직이지 않는다면 연속한 프레임들은 사실상 같은 장면을 반복해서 찍은 사진입니다. 문제는 매번 같은 자리를 찍는다는 점입니다. 픽셀 중심의 한 점만 샘플하니 몇 번을 그려도 같은 정보만 나옵니다.

그래서 카메라를 프레임마다 픽셀 하나보다 작게 살짝 흔듭니다. 이것을 지터(jitter)라고 합니다. 이번 프레임은 픽셀의 왼쪽 위를, 다음 프레임은 오른쪽 아래를 샘플하는 식으로 같은 저해상 픽셀 안의 서로 다른 자리를 돌아가며 찍습니다.

아래 그림은 성능 모드의 경우입니다. 렌더 픽셀 하나가 출력 픽셀 2×2를 덮으니 서로 다른 자리를 찍은 네 프레임을 모으면 출력 해상도의 칸이 모두 찹니다.

성능 모드에서 렌더 픽셀 2×2가 출력 픽셀 4×4를 덮는 격자 위로 물체의 경계가 비스듬히 지나가는 그림. 프레임 1부터 4까지 샘플 위치가 Halton 2·3 수열의 2~5번째 값인 (0.25, 0.67), (0.75, 0.11), (0.13, 0.44), (0.63, 0.78)로 픽셀 안에서 매번 옮겨 가고, 샘플이 물체에 닿은 렌더 픽셀은 통째로 물체 색이 됩니다. 네 프레임을 모은 격자에서는 출력 칸마다 그 칸을 찍은 프레임 번호가 적혀 모든 칸이 채워지고, 경계가 출력 해상도의 계단으로 드러납니다. 아래에 DLSS 가이드의 지터 권장값(최소 16단계, 32단계 이상 권장, 최소 수 = 8 × 배율², 성능 모드 32)이 적혀 있습니다.

이렇게 찍은 샘플은 출력 해상도의 버퍼, 흔히 히스토리(history)라고 부르는 곳에 쌓아 갑니다. 매 프레임 새로 그린 색을 기존 히스토리와 섞습니다. 가장 단순한 형태는 이렇습니다.

Ht=(1−α) Ht−1+α CtH_t = (1 - \alpha)\,H_{t-1} + \alpha\,C_t

H는 히스토리, C는 이번 프레임에 그린 색, α는 이번 프레임을 얼마나 믿을지입니다. α가 작을수록 지난 프레임들이 오래 남아 더 많은 샘플이 섞이고 그만큼 결과가 매끄러워집니다. 대략 1/α프레임 분량의 샘플이 섞인다고 생각하면 됩니다. 반대로 α가 크면 새 프레임에 빨리 반응하지만 덜 모입니다.

실험실 장면의 같은 부분을 성능 2× 배율, 멈춘 장면에서 네 단계로 비교한 그림. '1프레임'은 계단진 저해상 그림 그대로라 전선이 굵은 토막으로 끊겨 있습니다. '4프레임 누적'은 전선이 점선처럼 이어지기 시작하지만 벽 사이딩과 창틀에 체크 무늬가 남아 있습니다. '16프레임 누적'에서는 전선이 가늘게 이어지고 사이딩 줄무늬가 고르게 모이며, 가장자리가 부드럽습니다. 맨 오른쪽 '네이티브'는 더 선명하지만 지붕 경계와 전선에 계단이 그대로 보입니다.

실험실에서 '공 움직이기'를 끈 채 '지터'나 '누적'을 하나씩 끄고 '처음부터'를 눌러 보세요. 지터만 켜고 누적을 끄면 화면이 떨기만 하고, 누적만 켜고 지터를 끄면 같은 샘플을 쌓을 뿐이라 그대로입니다. 둘이 같이 있어야 정보가 늘어납니다.

그림에서 16프레임을 모은 쪽이 네이티브보다 오히려 매끄러워 보이는 데에는 이유가 있습니다. 실험실의 '네이티브'는 출력 픽셀마다 한 점만 찍고 안티에일리어싱을 하지 않은 그림이라 지붕 경계와 전선에 계단이 남습니다. 지터를 넣어 누적하면 픽셀 안의 여러 자리를 찍은 샘플이 섞이니 이 계단도 함께 지워집니다. 시간 누적은 빈 해상도를 채우는 동시에 안티에일리어싱도 합니다. 시간 업스케일러의 결과가 안티에일리어싱 없는 네이티브보다 깔끔해 보일 수 있는 것도 이 때문입니다. 대신 가장자리는 네이티브보다 조금 덜 또렷합니다.

같은 해상도에서 여러 프레임을 모아 계단을 지우는 것이 TAA이고, 낮은 해상도에서 모아 더 큰 히스토리를 채우는 것이 시간 업스케일링입니다.

그래도 배율에는 한계가 있습니다. 아래는 실험실에서 멈춘 장면을 충분히 누적한 뒤 배율만 바꿔 찍은 것입니다.

실험실 장면의 같은 부분을 멈춘 채 충분히 누적한 뒤 배율만 바꿔 비교한 그림. '품질 1.5×'와 '성능 2×'는 벽 사이딩의 가는 줄무늬, 창틀, 철망이 거의 같게 보입니다. '울트라 성능 3×'에서는 사이딩의 줄무늬가 사라지고 굵기가 제각각인 얼룩덜룩한 띠로 바뀌었고, 철망도 더 흐릿합니다.

'품질 1.5×'와 '성능 2×'는 거의 구분되지 않지만 '울트라 성능 3×'에서는 벽 사이딩이 얼룩덜룩한 띠가 됩니다. 사이딩의 줄무늬 간격이 저해상 픽셀 하나(출력 3픽셀)보다 촘촘하기 때문입니다. 흐려졌다기보다 가는 디테일이 사라지고 원래 없던 무늬가 남았습니다. 출력의 9분의 1만 그리는 모드에서는 여러 프레임을 모아도 되찾지 못하는 디테일이 생깁니다.

움직이면 생기는 일

장면이 멈춰 있다면 이야기는 여기서 끝납니다. 하지만 게임은 움직입니다. 카메라가 오른쪽으로 돌면 지난 프레임의 히스토리는 화면에서 왼쪽으로 밀려 있어야 합니다. 그대로 섞으면 모든 것이 번집니다.

그래서 엔진은 픽셀마다 모션 벡터를 함께 그립니다. 이 픽셀에 보이는 표면이 지난 프레임에는 화면의 어디에 있었는지를 적은 값입니다. 업스케일러는 이 벡터를 따라 히스토리에서 색을 가져옵니다. 이것을 재투영(reprojection)이라고 합니다.

프레임 N−1과 지금 프레임 N을 나란히 놓은 격자. 파란 물체가 오른쪽으로 3칸 움직였고, 지금 프레임에는 물체가 지난 프레임에 있던 자리가 점선으로 표시돼 있습니다. 물체 위의 초록 픽셀은 모션 벡터 화살표를 따라 지난 프레임의 같은 점을 찾아 기록을 그대로 씁니다. 물체가 떠나며 방금 드러난 빗금 친 배경의 빨간 픽셀은 움직임이 0이라 지난 프레임의 같은 자리를 가리키는데, 그 자리에는 물체 색뿐이라 쓸 기록이 없습니다. 이 엉뚱한 기록을 그대로 섞으면 남는 잔상이 고스팅이라고 적혀 있습니다.

모션 벡터가 정확하면 움직이는 장면에서도 누적이 이어집니다. 그래서 NVIDIA의 DLSS 프로그래밍 가이드는 부정확하거나 정밀도가 낮은 모션 벡터가 시각적 결함의 가장 흔한 원인이라고 적습니다. 업스케일러가 엔진 깊숙이 붙어야 하는 이유가 여기 있습니다. 완성된 화면만 받아서는 이 정보를 알 수 없습니다.

모션 벡터가 정확해도 풀리지 않는 경우가 있습니다. 물체가 지나가고 나면 그 뒤의 배경이 새로 드러납니다. 이 배경은 지난 프레임에서 물체에 가려져 있었으니 히스토리에 이 자리의 기록이 없습니다. 이것을 디스오클루전(disocclusion)이라고 합니다. 배경은 움직이지 않았으니 모션 벡터는 0이고 그 자리를 따라가면 엉뚱하게 물체의 색을 가져오게 됩니다.

반투명한 연기, 반사, 그림자처럼 모션 벡터 하나로 움직임을 다 설명할 수 없는 것들도 있습니다. 바닥에 비친 캐릭터는 바닥 표면과 다르게 움직이지만 그 픽셀의 모션 벡터는 바닥의 것입니다.

이런 자리에서 낡은 히스토리를 그대로 섞으면 움직이는 물체 뒤로 옅은 잔상이 꼬리처럼 끌려옵니다. 이것을 고스팅(ghosting)이라고 합니다. 실험실에서 '공 움직이기'를 켜고 '이웃 클램핑'과 '디스오클루전 검사'를 끄면 바로 볼 수 있습니다. 결국 시간 업스케일러의 일은 둘로 나뉩니다. 히스토리를 최대한 오래 믿어서 샘플을 모으는 일과 믿으면 안 되는 히스토리를 제때 버리는 일입니다. 앞의 것은 쉽고 뒤의 것이 어렵습니다.

규칙에서 신경망으로

사람이 짠 규칙

머신러닝 이전의 업스케일러는 이 판단을 사람이 규칙으로 짰습니다. AMD가 2022년 GDC에서 발표한 FSR 2.0이 좋은 예입니다. GDC 슬라이드에는 그 규칙들이 단계별로 정리돼 있습니다.

첫째는 디스오클루전 마스크입니다. 현재 프레임의 깊이와 재투영한 지난 프레임의 깊이를 비교해 새로 드러난 곳으로 보이는 자리는 히스토리를 믿지 않습니다. 실험실의 '디스오클루전 검사'는 이것을 단순하게 흉내 냅니다. 지난 프레임에 그 자리가 공이었는데 지금은 배경이라 깊이가 크게 뛰었으면 그 픽셀의 히스토리를 버립니다.

둘째는 이웃 색 클램핑입니다. 이번 프레임에서 그 픽셀 주변 3×3의 색을 보고 최솟값과 최댓값을 구합니다. 히스토리에서 가져온 색이 그 범위를 벗어나면 지금 이 근처에 있을 수 없는 색이라고 보고 범위 안으로 밀어 넣습니다. 밝은 물체가 지나간 자리에서 히스토리가 그 밝은 색을 들고 와도 지금 주변이 모두 어두우면 그 기록은 어두운 범위의 끝으로 잘립니다. 실험실의 '이웃 클램핑'은 이를 단순하게 흉내 내 주변 3×3 저해상 샘플의 RGB를 채널마다 최솟값과 최댓값으로 잡아 히스토리를 자릅니다.

이웃 색 클램핑이 맞을 때와 틀릴 때를 위아래로 보인 그림. 위는 물체가 지나간 자리로, 지금 프레임 3×3은 모두 어두운 파랑인데 지난 기록은 밝은 노랑입니다. 어둡게에서 밝게로 가는 축 위에서 3×3의 색들이 min과 max 사이의 상자를 이루고, 상자 밖의 밝은 기록은 상자 끝으로 잘려 잔상이 버려집니다(맞음). 아래는 한 픽셀 폭의 밝은 선으로, 이번 프레임 샘플이 선을 비껴가 3×3이 모두 어두우니 진짜 선을 담은 밝은 기록까지 상자 끝으로 잘려 선이 깜빡입니다(틀림). 맨 아래에는 FSR 2의 History rectification 중 색 기반 쪽이 이 상자 자르기이고, 한 픽셀 폭 능선은 얇은 물체로 감지해 잠그며, 잠금이 제때 풀리지 않으면 고스팅이 된다고 적혀 있습니다.

셰이더로는 대략 이런 모양입니다. 설명을 위해 단순화한 예제입니다.

// 설명을 위해 단순화한 예제
float3 minC = 1e9;
float3 maxC = -1e9;
for (int y = -1; y <= 1; y++)
for (int x = -1; x <= 1; x++)
{
    float3 c = CurrentColor.Load(int3(pixel + int2(x, y), 0)).rgb;
    minC = min(minC, c);
    maxC = max(maxC, c);
}

float3 current = CurrentColor.Load(int3(pixel, 0)).rgb;
float3 history = HistoryColor.SampleLevel(LinearClamp, uv - motion, 0).rgb; // 재투영
history = clamp(history, minC, maxC);                                      // 이웃 범위로 자르기
float3 result = lerp(history, current, alpha);                             // 누적

아래는 실험실에서 '공 움직이기'를 켜고 공이 철망 앞을 지나는 같은 순간을 '이웃 클램핑'만 바꿔 찍은 것입니다. 클램핑만의 차이를 보려고 두 장 모두 '디스오클루전 검사'는 꺼 두었습니다.

공이 철망 앞을 오른쪽으로 지나가는 같은 순간을 두 장으로 비교한 그림. 왼쪽 '클램핑 끔'에서는 지난 프레임들의 공 색이 공 뒤의 철망 위에 길게 번진 꼬리로 남아 있습니다. 오른쪽 '클램핑 켬'에서는 긴 꼬리가 사라졌지만, 공이 지나간 자리에 밝은 얼룩이 흩어져 있고 공 바로 뒤에 짧은 붉은 줄이 남아 있습니다.

긴 꼬리는 클램핑으로 사라집니다. 다만 오른쪽에도 얼룩과 짧은 붉은 줄이 남습니다.

클램핑에는 대가가 있습니다. 이 규칙은 히스토리에만 있는 정보를 의심합니다. 그런데 업스케일링에서 히스토리에만 있는 정보야말로 우리가 모으려던 것입니다. 픽셀보다 가는 전선은 이번 프레임의 저해상 그림에서 끊겨 있거나 아예 빠져 있을 수 있습니다. 그러면 3×3 이웃에 전선의 색이 없으니 히스토리에 어렵게 모아 둔 전선이 클램핑에 잘려 나갑니다. 전선이 깜빡이거나 사라집니다. 이웃 색 클램핑 그림의 아래쪽이 이 경우입니다.

FSR 2는 여기에 셋째 규칙을 더합니다. 슬라이드의 'Thin features – Locking'입니다. 픽셀 폭의 능선을 얇은 특징으로 감지해 잠근다는 설명대로 얇은 물체로 보이는 자리의 히스토리를 잠가 둡니다. 실험실의 '얇은 선 잠금'은 이 생각을 빌려 단순하게 만든 것으로 FSR 2의 실제 규칙과는 다릅니다. 이 스위치를 끄면 멈춰 있는 울타리와 전선이 깜빡이며 끊어지는 것을 볼 수 있습니다.

그런데 잠금도 결국 규칙입니다. 슬라이드는 잠금을 제때 풀지 못하면 그것이 그대로 고스팅이 된다고 짚습니다. 실험실은 그 위험을 피하려고 움직임이 있는 자리에서는 잠금을 걸지 않습니다. 그 대가가 앞의 고스팅 그림 오른쪽에 남은 밝은 얼룩입니다. 공이 막 지나간 자리에는 잠금이 없으니 클램핑이 철망의 얇은 선까지 지워 버리고 그 틈으로 하늘색이 비칩니다. 공 바로 뒤의 짧은 붉은 줄은 3×3 이웃에 아직 공의 가장자리 색이 들어 있어 클램핑으로도 잘리지 않은 자리입니다. 잠금을 넉넉히 걸면 잔상이 남고 아끼면 디테일이 지워집니다. 지켜야 할 히스토리와 버려야 할 히스토리를 가르는 기준을 사람이 하나씩 손으로 맞춥니다.

이 규칙들은 비싸지 않습니다. 슬라이드에 적힌 품질 모드 비용은 4K 출력에서 RX 6800 XT로 1.1ms 미만입니다.

머신러닝이 맡은 자리

NVIDIA는 다른 길을 갔습니다. DLSS 1.0은 신경망으로 저해상 그림을 키웠습니다. 다만 DLSS 2.0 발표가 직접 밝히듯 1.0은 새 게임마다 AI 네트워크를 학습시켜야 했습니다.

2020년 3월의 DLSS 2.0은 구조를 바꿨습니다. 입력은 낮은 해상도의 에일리어싱된 이미지와 낮은 해상도의 모션 벡터이고 게임을 가리지 않고 동작하는 범용 네트워크 하나를 씁니다. 입력을 보면 앞에서 본 시간 업스케일러와 같습니다. 달라진 곳은 그 입력으로 히스토리를 어떻게 섞을지 정하는 부분입니다.

시간 업스케일러의 두 방식을 비교한 그림. 왼쪽의 같은 입력 다섯 가지, 저해상 색, 모션 벡터, 깊이, 노출, 지난 출력이 두 갈래로 나뉩니다. 위 갈래는 FSR 2의 사람이 짠 규칙으로, 깊이 비교로 디스오클루전 마스크를 만들고, 3×3 이웃 색 범위로 기록을 자르고, 얇은 물체는 잠급니다. 아래 갈래는 DLSS 2 이후의 학습된 네트워크로, 무엇을 버릴지를 수많은 장면에서 학습한 가중치가 판단합니다. 두 갈래 모두 고해상 출력이 되고, 그 출력은 다음 프레임의 지난 출력이 됩니다. 아래에는 DLSS 1(2018.12)은 게임마다 네트워크를 새로 학습했고 DLSS 2(2020)는 여러 게임에 그대로 쓰는 범용 네트워크 하나를 쓴다고, 입력은 같고 지난 기록을 얼마나 믿을지 정하는 쪽만 다르다고 적혀 있습니다.

제가 보기에 이 그림이 이 글의 핵심입니다. 머신러닝은 업스케일링을 처음부터 새로 발명했다기보다 파이프라인의 한 칸, 히스토리를 얼마나 믿을지 정하는 칸을 바꿨습니다. 사람이 짠 규칙은 3×3 범위나 깊이 차이처럼 사람이 골라 둔 몇 가지 단서로 판단합니다. 신경망은 같은 입력을 받아 어떤 단서를 얼마나 볼지까지 학습으로 정합니다.

AMD는 수작업 알고리즘이던 FSR 2·3에 이어 2025년 3월 RDNA 4와 함께 머신러닝 기반의 FSR 4를 내놓았습니다.

공짜는 아닙니다. 신경망은 규칙보다 비싸고 모델이 커질수록 더 비싸집니다. DLSS 4의 transformer 모델은 비슷한 프레임 예산에서 연산은 4배, 파라미터는 2배라고 소개됐습니다. DLSS 가이드에 적힌 성능 모드, 4K 출력 실행 시간을 보면 차이가 잘 드러납니다.

DLSS 성능 모드에서 1080p를 4K로 키우는 슈퍼 해상도 실행 시간을 GPU와 모델별로 비교한 가로 막대그래프. 모델은 CNN(모델 E/F), 트랜스포머(모델 J/K), 모델 L, 모델 M 순입니다. RTX 5090은 0.40, 0.87, 1.37, 1.05ms, RTX 4090은 0.53, 1.06, 1.67, 1.39ms, RTX 3060은 2.08, 5.05, 13.81, 11.10ms, RTX 2080 Ti는 1.30, 3.50, 10.60, 7.51ms입니다. 60fps 한 프레임인 16.7ms에 세로선이 그어져 있고, 출처는 NVIDIA DLSS Programming Guide 310.6.0(2026-03-31)입니다.

같은 4K 출력을 RTX 3060에서 L 모델로 돌리면 13.81ms가 걸립니다. 60fps 예산 16.7ms의 대부분입니다. 머신러닝 업스케일러는 텐서 코어 같은 전용 연산기를 전제로 한 기술이고 그 연산기가 약하면 업스케일러가 아낀 시간을 업스케일러가 다시 씁니다.

아낀 예산을 어디에 쓰나

업스케일링이 픽셀을 덜 그리는 기술이라면 그다음 단계는 프레임을 덜 그리는 것이었습니다. 어느 쪽이든 남는 것은 업스케일러가 아껴 준 예산을 어디에 쓰느냐의 문제에 가깝습니다. NVIDIA에 따르면 Cyberpunk 2077의 RT Overdrive 모드에서 RTX 4090의 4K 성능은 업스케일링과 프레임 생성을 함께 쓰는 DLSS 3를 켜면 4.6배 올라 103 FPS가 됩니다. 거꾸로 계산하면(103÷4.6) 네이티브는 약 22 FPS입니다. 픽셀마다 광선을 쏘는 조명은 업스케일링 없이는 이 해상도에서 고르기 어려운 선택지입니다.

PCGamesN 보도에 따르면 Remnant 2의 개발사 Gunfire Games는 2023년에 이 게임을 DLSS, FSR, XeSS 같은 업스케일링을 염두에 두고 설계했다고 밝혔습니다. 업스케일러가 예산을 사 주는 도구라면 그 예산을 처음부터 계획에 넣는 것도 자연스러운 수순입니다. 제가 보기에 문제는 기법 자체보다 업스케일러가 선택지가 아니라 최소 조건이 될 때 낮은 사양에서 더 낮은 해상도로 내려가야 한다는 점입니다. 앞에서 본 것처럼 입력이 작을수록 모을 정보도 줄고 고스팅 같은 결함도 더 잘 보입니다.

예산을 화질에 쓰면 업스케일링은 더 좋은 그림을 사 주고, 예산을 최적화를 건너뛰는 데 쓰면 같은 그림을 더 흐리게 보여 줍니다.

참고 자료

기법의 원전

NVIDIA

AMD

그 밖의 업스케일러와 플랫폼

기사

긱뉴스