---
id: "authored/a1ec6090-18a3-437c-86aa-1f96d91cd8d0"
title: "루프 트랜스포머의 반복 깊이와 효율 비교 자료"
description: "반복 깊이 모델의 구조, 공개 연구의 실험 조건과 해석 범위를 정리합니다."
kind: "llm-wiki"
published: "2026-11-02T11:20:56.338Z"
tags: ["AI"]
url: "https://www.readiz.com/llm-wiki/looped-transformers-recurrent-depth-source-guide/"
markdownUrl: "https://www.readiz.com/llm-wiki/looped-transformers-recurrent-depth-source-guide/index.md"
generatedBy: "llm"
humanReviewed: false
wikiFolder: "개발·기술/AI"
folderUrl: "https://www.readiz.com/llm-wiki/?folder=%EA%B0%9C%EB%B0%9C%C2%B7%EA%B8%B0%EC%88%A0%2FAI"
---

# 루프 트랜스포머의 반복 깊이와 효율 비교 자료

## 개념과 구조

루프 트랜스포머(루프 언어 모델)는 하나 이상의 변환 블록을 반복 호출해 내부 계산 깊이를 늘리는 계열이다. 공유 블록 가중치를 $\theta$라 하면 상태는 $h_{t+1}=F_\theta(h_t,x)$로 표현할 수 있다. 반복마다 파라미터 집합이 복제되지는 않지만, 상태 $h_t$와 입력 문맥 $x$에 대한 계산은 이어진다. Huginn처럼 입력 프렐류드를 한 번 적용하고 코어 블록을 반복한 뒤, 코다를 한 번 적용하는 구성도 있다. 다른 모델에서는 반복하는 층 범위가 달라질 수 있다.

반복 구조의 직접적인 선행 사례 중 하나는 [Universal Transformer](https://arxiv.org/abs/1807.03819)다. 2018년 공개되어 ICLR 2019에 발표됐으며, 위치별 적응 종료를 포함한 반복 계산을 제안했다. [원문 PDF](https://arxiv.org/pdf/1807.03819).

## 공개 모델과 학습 토큰의 범위

- [Huginn: Scaling up Test-Time Compute with Latent Reasoning: A Recurrent Depth Approach](https://arxiv.org/abs/2502.05171), 2025년 2월 공개. 35억 파라미터 모델과 8,000억 학습 토큰, 평균 약 32회 반복 학습을 보고한다. [원문 PDF](https://arxiv.org/pdf/2502.05171). Huginn은 과제별로 추론 반복과 성능 관계가 다르다.
- [Ouro: Scaling Latent Reasoning via Looped Language Models](https://arxiv.org/abs/2510.25741), 2025년 10월 공개. 14억과 26억 파라미터 설정, 총 7조 7,000억 학습 토큰을 다룬다. [원문 PDF](https://arxiv.org/pdf/2510.25741). 각 수치는 설정한 모델 크기와 학습 토큰 수로 나누어 인용한다.
- [Nanbeige4.2-3B: Unlocking Agentic Capabilities in a Compact Model](https://arxiv.org/abs/2607.22083), 2026년 7월 공개. 임베딩을 제외한 30억 파라미터와 28조 사전학습 토큰을 보고한다. [원문 PDF](https://arxiv.org/pdf/2607.22083).

학습 토큰은 학습량이고 파라미터는 저장된 가중치 규모다. 추론 반복은 한 토큰을 만들 때 추가되는 계산 깊이를 나타낸다.

## 효율 결과를 읽는 비교 조건

| 고정하는 조건    | 비교가 답하는 질문                      | 해석할 때 함께 볼 것            |
| ---------- | ------------------------------- | ----------------------- |
| 파라미터 수     | 저장 규모가 비슷할 때 반복 계산으로 얻는 성능 변화   | 반복으로 추가된 계산과 데이터, 평가 손실 |
| 총 추론 FLOPs | 같은 계산 예산에서 새 층과 공유 반복을 어떻게 배분할지 | 토큰당 연산과 시퀀스 길이, 평가 과제   |
| 학습 토큰 수    | 비슷한 학습량에서 학습 효율이 어떻게 달라지는지      | 고유 가중치와 반복 횟수, 학습 FLOPs |
| 학습 후 추론 반복 | 학습 때보다 반복을 늘려도 일반화하는지           | 과제별 점수 변화, 추론 예산과 종료 규칙 |

[How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models](https://arxiv.org/abs/2604.21106)는 1, 2, 4, 8회 반복 설정으로 116회 사전학습 실험을 수행했다. [원문 PDF](https://arxiv.org/pdf/2604.21106). 검증 손실과 유효 깊이, 계산 예산 중 무엇을 맞추는지에 따라 반복 모델의 상대 성능이 달라진다. 2026년 10월 28일 v4의 예시에서는 고유 파라미터 약 4.1억 개(410M)인 4회 반복 모델이, 예측 검증 손실에서 약 5.8억 파라미터(580M) 일반 모델과 동등하다. 같은 폭과 유효 깊이를 기준으로 한 토큰당 학습 연산은 약 10억 파라미터(1B) 일반 모델 수준이다. 이 값은 적합식과 구조 비율에 따른 환산이다. 모델 지연과 전력은 별도 운영 지표다. 이 v4는 10월 18일 영상 게시 뒤 갱신된 버전이다. [연구 부록](https://kschwethelm.github.io/looped-lm-scaling/)에서 데이터와 환산 조건을 확인한다.

[2026년 공개 반복 모델 서베이](https://www.preprints.org/manuscript/202610.1404)는 2026년 10월 6일 기준 7,323개 후보 중 557편을 검토 대상으로 정하고, 선별된 557편 중 약 60%가 2026년 10월 6일 이전 12개월에 발표된 자료로 분류됐다. 이 서베이는 동료심사 전 공개본이다. 비교 결과는 데이터, 파라미터와 FLOPs 중 어떤 조건을 맞추는지에 따라 달라지며, 학습 뒤 반복을 늘린 결과도 과제별로 나뉜다.

## 반복 횟수 밖에서 일반화할 때

Bansal 외의 [End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking](https://arxiv.org/abs/2202.05826)은 2022년 2월 공개되어 같은 해 10월 개정됐다([원문 PDF](https://arxiv.org/pdf/2202.05826)). 순환 합성곱 신경망을 이용한 미로 탐색을 다룬다. 논문 그림 19에는 9×9 미로에서 30회 반복으로 학습한 모델을 801×801의 한 시험 미로에 10,000회 반복해 적용한 사례가 있다([원 논문 그림 19](https://openreview.net/references/pdf?id=TW06BK4RkU)).

Huginn은 벤치마크에 따라 학습 반복 깊이와 추론 반복 증가의 관계가 달랐다. [서베이](https://www.preprints.org/manuscript/202610.1404)가 모은 결과에도 추론 반복이 늘면서 점수가 낮아진 수학 과제가 포함된다. 모델과 과제에 따른 평가 결과를 함께 정리하면, 추론 반복의 효과가 성능 향상과 저하 양쪽으로 나타난다.

## 추론 비용과 감시 가능성

CoT는 풀이 단계를 출력 토큰으로 기록하며, 이 토큰은 일반 문맥과 함께 KV 캐시에 들어간다. 반복 모델도 원래 입력 문맥을 처리한다. 반복마다 어텐션이 계산되는 구조는 각 반복의 표현 또는 KV 상태를 유지할 수 있다. CoT와 반복 깊이는 한 모델 안에서 함께 쓰일 수 있다. 실제 지연과 메모리는 캐시 구성, 토큰 수, 시퀀스 길이와 구현을 기준으로 측정한다.

2026년 10월 2일 공개된 [On the Chain-of-Thought Monitorability of Looped Language Models](https://arxiv.org/abs/2610.02741)은 8개 과제에서 표준 조건과 스트레스 조건을 평가했다. 일부 조건에서 반복 깊이가 커질 때 CoT 감시성이 낮아지는 결과를 보고했다. 모델 크기와 깊이를 맞춘 비루프 모델과 비교했을 때 루프 모델이 체계적으로 더 나쁘다는 증거는 찾지 못했다. [원문 PDF](https://arxiv.org/pdf/2610.02741). 연구 범위는 해당 과제와 시험 조건에 한정된다. 텍스트 CoT 자체가 모델의 모든 내부 원인을 충실히 기록한다고 간주해서도 안 된다.

## 기존 자료와 연결

기존 [AI 서빙의 지연과 용량을 읽는 법](https://www.readiz.com/llm-wiki/ai-serving-latency-capacity-cuda-kv-source-guide/)은 일반적인 KV 캐시와 지연 개념을 다룬다. 이 문서는 반복 깊이 논문을 찾고 비교하는 안내 문서로 활용한다. 실제 모델을 평가할 때는 대상 논문의 개정 버전, 공개 가중치 구성, 생성 설정과 추론 엔진의 캐시 전략을 다시 확인한다.

---

> LLM이 작성하고 사람의 검토 없이 게시한 문서다. 부정확한 내용이 있을 수 있다.