그로킹: 시험 점수가 멈춘 동안 모델은 무엇을 배웠을까
이 글의 목차
← 기록 / 공부 / CS

그로킹: 시험 점수가 멈춘 동안 모델은 무엇을 배웠을까

모듈러 덧셈의 푸리에 회로를 따라 입력 표현부터 정답 출력, 늦은 일반화까지 설명하고 Claude의 줄바꿈 계산으로 연결한다.

학습 문제는 다 맞히는데, 처음 보는 문제는 계속 틀리는 모델이 있다. 그대로 학습을 더 시켰더니 한참 뒤 시험 점수가 급격히 오른다. 그동안 모델 안에서는 무슨 일이 일어난 걸까?

그로킹(grokking)을 분석한 연구가 흥미로운 이유는 이 빈 시간을 설명하기 때문이다. 작은 트랜스포머 안에서 숫자를 원 위의 위치로 표현하고, 삼각함수의 덧셈정리를 이용해 답을 계산하는 회로가 발견됐다. 시험 점수가 거의 변하지 않는 동안에도 그 회로는 조금씩 자라고 있었다. 겉으로 보이는 성능 변화와 내부에서 진행되는 학습의 시간표가 달랐던 셈이다.

웰츠랩스의 「LLM은 계산하는 걸까, 외운 걸까?」는 이 과정을 모듈러 덧셈부터 Claude의 줄바꿈까지 연결해 보여준다. 이 글은 영상의 설명을 따라가며, 원 논문에서 확인할 수 있는 실험 조건과 개입 결과를 함께 정리한다.

원본 영상 · LLM은 계산하는 걸까, 외운 걸까? | 그로킹 (Grokking)

답을 외우는 것과 규칙을 배우는 것

먼저 문제를 아주 작게 만들자. 숫자 두 개를 더한 뒤 5로 나눈 나머지를 구한다.

f(x,y)=(x+y) mod 5f(x,y)=(x+y)\bmod 5

1+41+4의 답은 0이고, 4+24+2의 답은 1이다. 입력으로 쓸 숫자는 0부터 4까지라서 가능한 입력 쌍은 25개뿐이다. 이 중 일부만 훈련에 쓰고, 나머지는 시험용으로 남겨두면 된다.

모델이 훈련 예제의 답만 저장했다면 보지 못한 칸은 맞히기 어렵다. 반대로 덧셈과 순환의 규칙을 익혔다면 처음 보는 입력 쌍에도 같은 계산을 적용할 수 있다. 작고 규칙적인 문제라서 두 행동을 구별하기 좋다.

여기서 모델에 숫자를 어떻게 넣는지가 중요하다. 사람이 1 2 =를 보면 덧셈을 떠올리지만, 입력에는 각 기호를 구별하는 토큰 ID만 있다. 원핫 벡터로 표현하면 1에 해당하는 자리 하나만 1이고 나머지는 0인 식이다. 값이 2인 토큰을 넣었다고 입력 벡터의 크기가 두 배가 되지는 않는다. 숫자 사이의 관계부터 학습으로 만들어야 한다.

실제 구현에서는 토큰 ID로 임베딩 표의 행을 찾으면 되므로 거대한 원핫 배열을 매번 만들 필요는 없다. 원핫 그림은 어떤 입력이 어떤 임베딩과 연결되는지를 보여주는 표현이다. = 위치에서는 앞의 두 입력을 종합해 다음에 올 정답 토큰의 점수를 계산한다.

2022년 1월 발표된 Power 등의 그로킹 논문은 작은 알고리즘 데이터에서 훈련 정확도가 먼저 높아진 뒤, 훨씬 늦게 미지의 예제로 일반화하는 현상을 보고했다. 데이터의 양과 학습 조건에 따라 이런 전환에 필요한 시간이 달라졌다. 영상은 발견 배경을 휴가 중 학습을 계속 돌려둔 일화로 소개한다. 연구의 핵심은 우연한 발견 이후 여러 설정에서 현상을 재현했다는 데 있다.

내부를 읽을 만큼 작은 트랜스포머

다음 질문은 구체적이다. 일반화에 성공한 모델은 어떤 계산을 배웠을까?

Neel Nanda 등의 연구는 (x+y) mod 113(x+y)\bmod113을 계산하는 단층 트랜스포머를 분석했다. 입력 숫자는 0부터 112까지다. 가능한 입력 쌍 1132=12,769113^2=12,769개 중 30%를 훈련에 사용하고, 나머지를 시험에 썼다.

대표 실험의 임베딩 폭은 128, 어텐션 헤드는 4개, MLP의 숨은 뉴런은 512개다. 어텐션은 두 입력의 정보를 모으고, MLP는 그 정보를 변환한다. 마지막 출력 투영은 정답 후보마다 로짓(logit), 즉 확률로 바꾸기 전의 점수를 만든다. 가장 높은 점수의 숫자가 예측값이 된다. LayerNorm을 생략하는 등 분석을 위해 단순화한 구성이다.

단층 트랜스포머의 임베딩, 어텐션, MLP와 출력 구조

숫자 0부터 112와 등호를 입력하고, 등호 위치에서 답을 읽는 영상의 모델 구성. 웰츠랩스, 10:49

단층이라는 말도 여기서는 트랜스포머 블록이 하나라는 뜻이다. 그 안에는 어텐션과 MLP, 여러 선형 변환과 비선형 연산이 들어 있다. 이 정도 규모라면 모든 입력 조합을 넣어 보면서 특정 뉴런과 가중치가 어떻게 반응하는지 조사할 수 있다.

영상의 실행 사례는 수백 단계 안에 훈련 예제를 맞히고 약 7천 단계 부근에서 일반화하는 모습을 보여준다. 논문 대표 실험의 전환 시점은 약 1만 에포크 부근이다. 학습 시점과 선택된 주파수는 실행 설정에 따라 달라진다. 공통으로 관찰할 것은 두 성능 곡선 사이의 긴 간격과, 그동안 내부에서 만들어지는 구조다.

뉴런을 따라가면 파동이 나온다

입력 xx를 0으로 고정하고 yy를 0부터 112까지 바꿔보자. 그때마다 MLP 뉴런 하나의 활성값을 기록하면, 일부 뉴런은 사인파와 비슷하게 오르내린다. 뉴런 두 개의 값을 가로축과 세로축에 놓으면 고리나 타원 같은 모양도 나타난다.

뉴런 활성값의 파동과 뉴런 쌍의 고리 모양 산점도

입력을 바꿨을 때 나타나는 뉴런의 파동과 고리 모양. 웰츠랩스, 12:16

어떤 입력에 어떤 뉴런이 반응하는지를 그렸더니 주기적인 구조가 나온 것이다. 이산 푸리에 변환은 그 구조를 여러 주파수의 사인파와 코사인파로 나누어 살펴보는 도구다. 복잡해 보이는 활성값을 어떤 파동들이 얼마나 섞여 있는지로 다시 읽을 수 있다.

영상에서는 각주파수 8π/1138\pi/113인 성분 등을 찾는다. 입력 임베딩의 좌표 하나만 보면 잡음과 다른 성분이 섞여 있지만, 몇 개 좌표를 골라 가중합하면 훨씬 선명한 사인파나 코사인파가 나온다. 이것이 영상에서 쓰는 희소 선형 프로브다. 모델의 표현에 들어 있는 정보를 작은 선형 읽기 장치로 꺼내보는 셈이다.

왜 하필 삼각함수일까? 모듈러 덧셈은 시계와 닮아 있다. 11시에서 두 시간 앞으로 가면 1시가 된다. 숫자를 원 위의 각도로 표현하면, 한 바퀴를 돌아도 같은 자리라는 성질이 자연스럽게 들어간다.

모듈러스를 PP, 정수 주파수 번호를 kk라고 두면 다음 두 값으로 숫자 xx를 표현할 수 있다.

θx=2πkxP,(cos⁡θx,sin⁡θx)\theta_x=\frac{2\pi kx}{P},\qquad (\cos\theta_x,\sin\theta_x)

xx에 PP를 더하면 각도에는 2πk2\pi k가 더해진다. 정수 횟수만큼 회전하므로 원 위의 점은 그대로다. 나머지가 같은 숫자가 같은 표현으로 돌아오는 것이다.

임베딩의 사인과 코사인 프로브로 얻은 원형 표현

사인과 코사인을 두 축에 놓으면 입력의 순환 구조가 원으로 나타남. 웰츠랩스, 16:52

이 원형 표현은 학습으로 만들어진 입력 숫자의 표현이다. 트랜스포머 설계자가 문장 위치를 알려주기 위해 넣는 사인파 위치 인코딩과는 생성 경로가 다르다. 이 실험에서는 정답 예제를 학습하는 과정에서 숫자의 순환 구조가 임베딩에 자리 잡았다.

원 두 개를 어떻게 더할까

xx와 yy를 각각 원 위에 올려놓았다고 계산이 끝난 것은 아니다. 두 숫자의 합을 구하려면 두 각도를 합쳐야 한다. 여기서 고등학교 때 배운 덧셈정리가 등장한다.

cos⁡(θx+θy)=cos⁡θxcos⁡θy−sin⁡θxsin⁡θy\cos(\theta_x+\theta_y) =\cos\theta_x\cos\theta_y-\sin\theta_x\sin\theta_y sin⁡(θx+θy)=sin⁡θxcos⁡θy+cos⁡θxsin⁡θy\sin(\theta_x+\theta_y) =\sin\theta_x\cos\theta_y+\cos\theta_x\sin\theta_y

이미 구해놓은 사인과 코사인을 곱하고 더하면 합의 사인과 코사인이 된다. 연구진이 가중치와 활성값에서 추적한 계산이 바로 이 구조다. 어텐션과 MLP가 필요한 곱과 조합을 만들고, 뒤의 선형 변환이 이를 합의 표현으로 묶는다. 영상 설명란도 곱 형태의 항이 어텐션에서 계산되거나 ReLU를 통해 근사될 수 있다고 보충한다.

사인 곱과 코사인 곱을 조합해 대각선 패턴을 만드는 도식

곱 형태의 두 파동을 조합해 합에 따른 대각선 구조를 만드는 과정. 웰츠랩스, 23:10

이 계산의 흔적은 그림에서도 드러난다. xx와 yy를 모두 바꾸면서 활성값을 높이로 그리면 물결치는 곡면이 나온다. xx에만 의존하는 파동과 yy에만 의존하는 파동, 둘의 곱을 분리하고 다시 조합하면 대각선 방향의 능선이 생긴다. 합이 일정한 입력 쌍이 그 대각선 위에 놓이기 때문이다.

영상에 나온 한 활성 패턴은 (0,65)(0,65), (20,45)(20,45), (40,25)(40,25), (60,5)(60,5) 부근에서 강하게 반응한다. 모두 합이 65다. 다른 능선에는 (66,112)(66,112)와 (91,87)(91,87)처럼 합이 178인 쌍이 놓인다. 178=65+113178=65+113이므로 모듈러 113에서는 같은 답이다.

합이 65 또는 178인 입력 쌍이 놓이는 대각선 능선

합이 65인 쌍과 178인 쌍은 모듈러 113에서 같은 답으로 연결됨. 웰츠랩스, 21:28

따라서 이 패턴은 여러 입력 쌍을 공통의 합으로 묶는다. 훈련에 등장하지 않은 쌍도 같은 관계에 들어오면 같은 방식으로 처리할 수 있다. 모델이 일반화할 수 있는 계산 규칙이 내부에 생긴 것이다.

파동에서 정답 토큰으로

원 위에서 합을 표현했으면 이제 숫자로 읽어내야 한다. 정답 후보를 cc라고 할 때, 출력부는 대략 다음 형태의 점수를 만든다.

S(c)≈∑k∈KAkcos⁡(2πk113(x+y−c))S(c)\approx\sum_{k\in K} A_k\cos\left(\frac{2\pi k}{113}(x+y-c)\right)

여기서 KK는 학습된 주요 주파수들의 집합이고, Ak>0A_k>0는 정답 위치에서 서로 보강되는 성분들의 기여 크기를 나타낸다. 모델에서 관찰된 계산을 요약한 식이다.

cc가 정답이면 x+y−cx+y-c는 113의 배수다. 그러면 각 코사인의 각도는 2π2\pi의 정수배가 되어 파동들이 같은 방향으로 최고점을 만든다. 다른 후보에서는 파동들의 정렬이 흐트러진다. 여러 주파수의 합으로 정답 위치를 선명하게 만드는 방식이다.

최종 출력에서 합이 7인 입력을 높게 평가하는 그림

여러 파동을 조합한 출력에서 정답 7에 해당하는 입력 쌍이 높은 점수를 얻음. 웰츠랩스, 24:42

Nanda 논문의 대표 모델에서 주요 주파수 번호는 14,35,41,42,5214,35,41,42,52였다. 임베딩에는 그 밖의 성분도 보였지만, 이후 계산에서 주로 쓰인 것은 이 다섯 개였다. 영상의 8π/1138\pi/113 같은 구체적인 값과 숫자를 맞추기보다, 몇 개의 주기 성분이 입력부터 출력까지 이어지는 계산이라는 공통 구조를 보는 편이 정확하다.

연구진은 그림의 유사성에서 멈추지 않았다. 주요 주파수 성분을 제거하면 성능이 무너지고, 나머지 대부분의 주파수를 제거하면 성능이 유지되거나 소폭 좋아지는지 시험했다. 이런 제거 실험은 찾아낸 파동이 실제 답 계산에 기여한다는 근거가 된다. 논문 4절의 회로 분석과 제거 실험.

시험 점수가 멈춰 있던 시간에 일어난 일

회로의 모양을 알게 되면 학습 과정도 다른 눈으로 볼 수 있다. 완성된 모델의 주요 주파수에 해당하는 성분만 남기거나, 반대로 그 성분만 제거한 뒤 손실을 계산하면 된다.

일반적인 정확도는 가장 높은 점수를 받은 답이 맞았는지를 센다. 크로스엔트로피 손실은 정답에 부여한 확률까지 반영한다. 정답이 계속 1등이어도 그 확률이 더 커질 수 있으므로, 정확도가 100%에 도달했다고 학습 목표가 더 이상 변하지 않는 것은 아니다.

논문 5절은 여기에 두 지표를 추가한다.

지표계산에서 남기는 부분읽을 수 있는 변화
제한 손실, restricted loss주요 주파수의 일반화 성분계산 회로 자체가 얼마나 답을 잘 만드는가
제외 손실, excluded loss주요 주파수를 뺀 나머지 성분해당 회로 없이 훈련 예제를 얼마나 맞힐 수 있는가

영상은 제외 손실을 중심으로 설명한다. 초기에는 핵심 주파수를 제거해도 훈련 문제를 잘 맞힌다. 아직 그 회로에 크게 의존하지 않기 때문이다. 이후 훈련 손실은 낮게 유지되는데 제외 손실은 올라간다. 주요 주파수를 못 쓰게 했을 때 점점 더 못 푼다는 뜻이다.

훈련 손실, 시험 손실과 제외 손실이 달라지는 학습 곡선

영상 실행 사례의 훈련 손실과 시험 손실, 제외 손실. 세로축은 로그 눈금. 웰츠랩스, 27:35

이렇게 보면 긴 학습 과정은 세 부분으로 이어진다. 처음에는 훈련 예제를 맞히는 암기 성분이 빠르게 생긴다. 그다음에는 보지 못한 입력에도 적용되는 푸리에 회로가 점차 형성된다. 마지막에는 암기에 의존하던 성분이 약해지고 일반화 회로가 출력에서 우세해진다. 논문이 정리(cleanup)라고 부르는 구간이다.

가중치를 줄이는 weight decay는 이 대표 실험에서 중요한 역할을 한다. 훈련 오차를 낮게 유지하면서 더 작은 가중치로 작동하는 해법을 선호하도록 압력을 주고, 반복적으로 재사용할 수 있는 회로가 남는 쪽으로 학습을 유도한다는 해석이다. 정규화와 데이터 비율을 바꾸면 현상의 시점과 발생 여부도 바뀐다.

여기서 가장 인상적인 대목은 일반화 회로의 형성과 시험 정확도의 상승이 같은 순간이 아니라는 점이다. 회로는 먼저 자라고 있었고, 나중에 출력에 충분히 반영되면서 시험 성능이 급격히 달라졌다. 이 실험의 그로킹은 내부 진행을 추적하자 연속적인 학습 과정으로 읽히기 시작했다.

Claude는 줄 끝까지 남은 칸을 어떻게 셀까

영상 후반은 작은 덧셈 모델에서 상용 언어 모델로 넘어간다. Anthropic의 When Models Manipulate Manifolds는 Claude 3.5 Haiku가 일정한 폭으로 줄을 나눈 텍스트를 이어 쓸 때, 줄바꿈 위치를 어떻게 예측하는지 분석했다. 최초 공개는 2025년 10월 21일이다.

줄바꿈도 꽤 구체적인 계산을 요구한다. 지금 줄에 몇 글자를 썼는지, 앞선 줄들을 보면 한 줄의 폭이 어느 정도인지, 다음 단어를 쓰면 얼마나 남는지를 알아야 한다. 토큰 하나에 여러 문자가 들어갈 수 있으므로 토큰 수만 세는 것으로는 부족하다.

한 줄의 문자 수와 줄바꿈 위치를 설명하는 글 예제

Haiku 줄바꿈 분석의 문자 수 예제. 웰츠랩스, 29:12

연구진은 줄바꿈 이후의 문자 수와 관련된 활성값을 모았다. 문자 수가 달라질수록 표현이 곡선을 따라 움직였고, 그 구조를 6차원 부분공간에서 살펴볼 수 있었다. 숫자 하나로 위치를 따라갈 수 있는 1차원 곡선이 6차원 공간 안에 휘어져 있는 것이다. 평면 속 원도 둘레를 따라가는 위치는 하나로 정하지만 좌표는 두 개가 필요한 것과 비슷하다.

현재 문자 수와 앞선 줄의 너비는 관련된 기하 구조로 표현된다. 어텐션의 Q와 K 변환을 거치면 두 표현의 정렬이 달라지고, 특정한 차이에서 내적이 커진다. 원문은 이를 QK twist로 설명한다. 영상의 예에서는 현재 문자 수 70과 줄 너비 75의 대응을 보여준다. 두 값 사이에 약 다섯 글자가 남았다는 정보를 어텐션의 점수로 읽는 셈이다.

Q와 K 변환 이후 문자 수 70과 줄 너비 75가 대응하는 곡선

현재 문자 수와 줄 너비의 표현을 변환한 뒤의 대응. 원자료는 Anthropic 연구. 웰츠랩스, 30:19

여러 경계 감지 헤드는 줄 끝까지 남은 거리에 따라 서로 다른 반응을 보인다. 어떤 헤드는 더 멀리 남았을 때, 다른 헤드는 끝에 더 가까워졌을 때 강해진다. 이 신호들을 조합하면 남은 공간을 더 세밀하게 표현할 수 있다. 다음 단어가 들어갈지와 줄바꿈 여부를 판단하는 데 이 정보가 쓰인다.

남은 문자 수에 따라 다르게 반응하는 세 경계 감지 헤드의 곡선

경계 감지 헤드별 반응 곡선. 가로축은 오른쪽으로 갈수록 남은 문자가 줄어듦. 원자료는 Anthropic 연구. 웰츠랩스, 30:28

원 논문은 이 표현에도 직접 개입했다. 문자 수를 나타내는 부분공간의 성분을 제거하거나 다른 문자 수의 평균 표현으로 바꾸자 줄바꿈 예측이 달라졌다. 단순히 문자 수를 읽어낼 수 있다는 상관관계에서, 모델의 행동에 영향을 주는 표현이라는 근거로 한 걸음 더 나아간 것이다. 원문 2.3절과 3.2절.

여기서 설명된 대상은 고정 폭 텍스트의 줄바꿈 회로다. 그 범위 안에서 큰 모델도 수량을 내부의 기하 구조로 표현하고, 어텐션을 통해 그 사이의 관계를 계산한다는 구체적인 사례를 얻었다.

이해의 단위가 되는 계산 회로

영상은 마지막에 그로킹이라는 말의 낯선 뉘앙스로 돌아간다. 하인라인의 소설에 나온 말과 카르파시의 Animals vs Ghosts를 연결하며, AI의 지능이 사람이나 동물과 다른 방식으로 자랄 수 있다는 관점을 소개한다. 카르파시의 비유에서 LLM은 인간이 남긴 문서를 학습해 만들어진 지능이다. 어떤 방식의 지능으로 발전할지는 열린 질문이지만, 지금 모델 안에서 작동하는 구체적인 계산은 실험으로 추적할 수 있다.

처음 질문으로 돌아가면, 모듈러 덧셈 모델은 학습 초기에 예제를 외웠고 이후에는 새로운 입력에도 재사용할 수 있는 계산을 배웠다. 입력 숫자의 원형 표현, 삼각함수의 조합, 정답 후보를 구분하는 출력까지 그 경로를 추적할 수 있었다.

이 연구가 주는 가장 큰 변화는 모델을 판단하는 단위를 더 구체적으로 만든다는 데 있다. 시험 점수가 올랐다는 사실에 더해, 어떤 표현이 생겼는지, 그것이 다음 계산에 어떻게 쓰이는지, 제거했을 때 어떤 능력이 사라지는지를 묻는다. Claude의 줄바꿈 분석도 같은 질문을 더 큰 모델의 한 행동에 적용한다.

그로킹에서 갑작스러웠던 것은 밖으로 드러난 성능이었다. 그 안에서는 회로가 만들어지고, 서로 경쟁하고, 점점 더 쓰이는 과정이 이어지고 있었다. 이 숨은 과정을 읽을 수 있게 된 것이 그로킹 연구의 가장 설득력 있는 성과다.

원 논문과 실험 조건은 그로킹과 기계론적 해석가능성 자료에 모았다. 트랜스포머의 기본 행렬 계산은 Attention Is All You Need 자료에서 이어서 볼 수 있다.

AI로 읽기 · Markdown
Markdown 열기 ↗
curl -fsSL 'https://www.readiz.com/records/grokking-fourier-circuits-hidden-learning/index.md'

서비스 열기

열기 방식을 선택해 주세요.

새 브라우저 탭에서 열기현재 화면을 유지하며 별도 탭에서 사용합니다.

로그인이 필요하거나 창 안에서 열리지 않는 서비스는 새 브라우저 탭에서 열어 주세요.