트랜스포머는 문맥을 어떻게 계산할까
Q, K, V의 작은 계산 예제에서 멀티헤드와 디코더 마스크, 학습의 병렬성과 긴 문맥의 비용까지 연결해 읽는다.
글 관리 · 공개 범위트랜스포머를 이해하는 데 가장 중요한 질문은 이것이다. 한 단어의 표현을 만들 때, 문장 속 다른 단어의 정보를 어떻게 가져올까? 어텐션은 이 질문을 행렬 계산으로 푼다. 참고할 대상을 점수로 매기고, 그 점수를 비율로 바꾼 다음, 각 대상의 정보를 그 비율만큼 섞는다.
이 계산을 모든 위치에서 병렬로 수행할 수 있게 만든 것이 트랜스포머의 힘이다. 멀리 떨어진 단어도 직접 연결된다. 2017년의 번역 모델이 이후 언어 모델의 중요한 기반이 된 이유를 이해하려면, 유명한 수식 한 줄과 그 주변 구조를 함께 봐야 한다.
뉴런한알의 영상은 이 흐름을 임베딩부터 번역 결과까지 따라간다. 아래에서는 원 논문의 기본 모델을 기준으로 계산을 풀고, 작은 수치 예제를 더해 각 행렬이 무엇을 하는지 살펴본다.
앞 단어를 기다리지 않고 문맥을 읽기
RNN은 앞 단계의 상태를 받아 다음 상태를 만든다. 문장의 첫 토큰에서 두 번째로, 두 번째에서 세 번째로 계산이 이어진다. 앞의 계산 결과가 있어야 뒤를 계산할 수 있으므로 한 문장 안의 시간축을 병렬화하기 어렵다. 멀리 떨어진 토큰 사이에 정보를 전달하려면 여러 상태를 거쳐야 한다는 문제도 있다.
어텐션은 트랜스포머보다 먼저 등장했다. Bahdanau 등의 번역 연구는 출력 단어를 만들 때 원문의 여러 위치에서 정보를 가져오는 방법을 RNN 기반 모델에 결합했다. 트랜스포머는 이 방향을 더 밀고 나갔다. 문맥을 만드는 과정에서 순환 구조를 걷어내고, 위치 사이의 연결을 어텐션으로 계산한 것이다.
원래 트랜스포머는 인코더가 원문을 읽고, 디코더가 번역문을 생성하는 구조다. 인코더는 각 원문 토큰을 문맥이 반영된 벡터로 바꾼다. 디코더는 지금까지 나온 번역문과 인코더의 결과를 함께 참고해 다음 토큰을 예측한다. 양쪽에 각각 6개 층을 쌓는다. 층의 모양은 같지만 층마다 학습하는 가중치는 따로 있다.

논문 그림 1을 영상에서 다시 그린 구조도. 오른쪽 디코더가 왼쪽 인코더의 결과를 받아 번역을 이어간다. 뉴런한알, 2:13
토큰 번호에 의미와 위치를 담기
먼저 문장을 토큰으로 나눈다. 토큰은 자주 쓰는 단어 하나일 수도 있고 단어의 일부일 수도 있다. 원 논문의 영어→독일어 실험은 두 언어가 함께 쓰는 약 37,000개 토큰의 어휘를 사용했다. 각 토큰에 번호가 있고, 그 번호로 임베딩 표의 한 행을 꺼낸다.
기본 모델의 임베딩은 숫자 512개다. 토큰 번호가 146이라면 146번째 행의 512개 값을 가져온다. 146이라는 수의 크기를 의미로 사용하는 것이 아니라, 학습되는 표의 주소로 사용하는 셈이다. 길이가 인 문장은 행렬이 된다. 여기서 는 모델 내부 표현의 폭이다.
이 표는 학습 중 바뀐다. 같은 토큰은 입력에서 같은 임베딩을 가져오지만, 이후 어텐션을 거친 표현은 주변 토큰에 따라 달라진다. ‘배’가 과일인지 탈것인지 가르는 데 필요한 문맥은 이 다음 계산에서 들어온다.
위치 정보도 필요하다. 위치를 넣지 않은 셀프 어텐션은 입력 행을 섞으면 출력 행도 그에 맞춰 섞이는 구조다. 어떤 토큰이 먼저 나왔는지 알아야 하는 번역에서는 각 위치를 구분할 단서를 더해야 한다. 원 논문의 입력은 다음과 같이 생각할 수 있다.
는 위치 의 토큰 임베딩, 는 그 위치의 인코딩이다. 임베딩과 위치 인코딩의 길이를 같게 만들어 원소별로 더한다. 위치 인코딩은 사인과 코사인으로 만든다.
는 토큰 위치, 는 사인과 코사인 한 쌍의 번호다. 앞쪽 차원은 위치가 조금만 바뀌어도 빠르게 변하고, 뒤쪽 차원은 느리게 변한다. 빠른 파동과 느린 파동을 함께 담아 위치에 따른 패턴을 만든다. 차원이 512라면 이런 쌍이 256개다.

세로축은 위치 0부터 99, 가로축은 차원 0부터 511. 차원마다 변화 속도가 다른 위치 신호를 넣는다. 뉴런한알, 4:06
연구진은 위치 벡터 자체를 학습하는 방식도 시험했고 비슷한 번역 성능을 얻었다. 사인파를 택한 이유는 학습에서 본 것보다 긴 길이에도 적용될 가능성과 상대 위치를 표현하기 좋은 성질에 있었다. 긴 문장에 대한 외삽은 이 선택의 기대였고, 이 실험에서 입증한 결과는 두 위치 표현 방식의 비슷한 번역 성능이다. 논문 3.4절과 3.5절
Q, K, V는 같은 입력에 서로 다른 역할을 주는 변환
어텐션에 들어온 토큰 벡터에서 세 가지 표현을 만든다.
- Query, Q: 지금 위치가 어떤 정보를 찾을지 나타내는 벡터.
- Key, K: 다른 위치의 질문과 얼마나 잘 맞는지 비교할 벡터.
- Value, V: 참고 대상으로 선택됐을 때 실제로 가져올 정보.
셀프 어텐션에서는 같은 입력 에 서로 다른 학습 행렬을 곱한다.
기본 모델의 헤드 하나를 보자. 의 크기는 , 각 투영 행렬의 크기는 다. 따라서 는 각각 가 된다. 같은 입력에서 만들지만 곱하는 행렬이 다르므로 결과도 서로 다르다.

한 토큰에서 64차원의 Q, K, V를 만드는 투영. 화면의 칸 수는 축소했고 표기된 차원은 기본 모델의 헤드 하나 기준이다. 뉴런한알, 5:03
이렇게 역할을 나누면 ‘무엇을 기준으로 찾을 것인가’와 ‘찾아서 무엇을 가져올 것인가’를 따로 학습할 수 있다. 검색 점수는 Q와 K로 만들고, 실제 출력에 섞이는 정보는 V에 담는다.
어텐션 수식 한 줄을 실제 계산으로 읽기
첫 번째 곱셈 은 모든 질문과 모든 키의 내적이다. 와 을 곱하므로 점수표가 나온다. 행 , 열 는 ‘토큰 가 토큰 를 얼마나 참고할지’를 정하는 점수다.
다음으로 점수를 로 나눈다. 기본 모델의 헤드에서는 이므로 8로 나눈다. 그 뒤 행마다 softmax를 적용해 합이 1인 가중치를 만든다.
마지막으로 이 가중치로 V를 섞는다. 출력의 번째 행은 다. 점수표의 행 하나가 해당 토큰의 정보 수집 비율이 되는 것이다.
직접 계산할 수 있게 차원을 2로 줄여 보자. 질문 하나를 으로 놓고, 세 토큰의 키와 값을 다음처럼 정한다.
| 대상 | 키 | 가져올 값 |
|---|---|---|
| A | ||
| B | ||
| C |
과 각 키의 내적은 A부터 차례로 이다. 이므로 이를 로 나누면 점수는 약 이 된다. 이 세 점수에 softmax를 적용한 가중치는 약 이다.
각 값에 가중치를 곱해 더하면 결과는 다음과 같다.
A와 C의 키가 이 질문과 더 잘 맞으므로 두 값이 더 많이 섞인다. Q와 K는 섞는 비율을 결정하고, V는 섞을 재료를 제공한다. 문장 전체에서는 이 계산을 질문마다 따로 반복하는 대신 행렬 곱으로 한꺼번에 처리한다.
그런데 왜 로 나눌까? 성분들이 서로 독립이고 평균 0, 분산 1이라고 가정하면, 개 곱을 더한 내적의 분산은 가 된다. 차원이 커질수록 점수의 규모가 커지는 것이다. 이를 로 나누면 분산이 다시 1이 된다.
점수 차이가 너무 커지면 softmax가 한 대상에 거의 모든 비중을 주는 구간으로 들어가고, 출력 비율을 바꾸는 기울기도 작아진다. 스케일링은 차원 증가 때문에 너무 이르게 이런 상태에 들어가는 것을 완화한다. 앞의 독립성과 분산 가정은 이 배율을 설명하는 출발점이다. 학습 중인 모든 Q와 K가 정확히 그 분포를 유지해야 하는 것은 아니다. 논문 3.2.1절과 각주 1
헤드를 나누면 여러 정보 수집 방식을 함께 배운다
헤드 하나는 각 토큰에 대해 하나의 가중합을 만든다. 여러 관계를 한 번의 평균에 넣으면 필요한 정보가 섞여 구분하기 어려울 수 있다. 멀티헤드 어텐션은 서로 다른 투영을 통해 여러 가중합을 병렬로 만든다.
기본 모델은 헤드 8개를 사용한다. 각 헤드가 512차원 입력 전체를 받아 자기만의 행렬로 64차원에 투영한다. 원래 입력을 앞 64칸, 다음 64칸처럼 고정 분할해 따로 읽는 방식으로 이해하면 투영의 역할을 놓친다.
각 결과는 다. 8개를 가로로 이어 붙이면 가 되고, 출력 행렬 를 곱해 헤드 사이의 정보를 다시 조합한다.

헤드별 출력을 합친 뒤에도 토큰마다 512차원의 표현을 유지한다. 뉴런한알, 7:16
서로 다른 헤드는 인접한 위치, 멀리 떨어진 위치, 문장 안의 서로 다른 관계를 참고하도록 학습될 수 있다. 어떤 헤드가 어떤 역할을 맡을지는 학습 결과에 달린다. 원 논문의 영어→독일어 개발 세트 실험에서는 헤드 8개가 BLEU 25.8, 헤드 1개가 24.9였다. 헤드 32개로 늘린 설정은 25.4였으므로, 이 실험에서는 무조건 많이 나누는 것이 유리하지 않았다. 논문 표 3
모은 정보를 가공하고 다음 층으로 넘기기
어텐션 다음에는 FFN이라는 작은 신경망이 온다. 어텐션이 위치 사이에서 정보를 모았다면, FFN은 각 위치 안에서 그 정보를 다시 가공한다.
512차원을 2048차원으로 넓히고, 음수를 0으로 만드는 ReLU를 적용한 뒤, 다시 512차원으로 줄인다. 같은 층 안에서는 모든 위치에 같은 FFN 가중치를 적용한다. 층이 달라지면 가중치도 달라진다.

어텐션이 모은 정보를 토큰별로 가공하는 FFN. 뉴런한알, 7:54
어텐션과 FFN 각각에는 잔차 연결이 붙는다. 부분 층이 계산한 결과에 원래 입력 를 더해, 변환을 거친 경로와 입력을 직접 전달하는 경로를 함께 둔다. 원 논문은 더한 뒤 LayerNorm을 적용한다. 드롭아웃을 생략해 쓰면 식은 다음과 같다.
LayerNorm은 각 토큰의 특징 차원에 걸쳐 평균과 분산을 계산해 정규화하고, 학습되는 배율과 이동값을 적용한다. 층을 쌓을 때 값의 규모를 다루는 장치다. 기본 모델은 부분 층 출력에 드롭아웃 0.1을 적용한 뒤 잔차로 더하며, 임베딩과 위치 인코딩의 합에도 드롭아웃을 적용했다.
폭을 계속 512로 유지하는 이유도 여기서 보인다. 원래 입력과 새 결과를 그대로 더할 수 있어야 한다. 이렇게 정보 수집, 위치별 가공, 잔차 연결과 정규화가 한 층을 이루고, 다음 층은 그 결과에서 다시 문맥을 계산한다. 논문 3.1절, 3.3절과 5.4절
학습은 동시에, 번역은 한 토큰씩
디코더에는 어텐션이 두 종류 들어간다. 첫 번째는 번역문 쪽의 마스크된 셀프 어텐션, 두 번째는 원문을 참고하는 교차 어텐션이다. 그 뒤 FFN을 통과한다.
학습할 때 정답 번역문 전체를 이미 알고 있다. 이를 그대로 보여 주면 다음 토큰을 예측해야 할 위치가 정답을 미리 읽어 버린다. 그래서 입력을 한 칸 밀고, 미래 위치를 가린다.
| 위치 | 디코더에 넣는 토큰 | 그 위치가 맞혀야 하는 토큰 |
|---|---|---|
| 0 | 시작 기호 | Ich |
| 1 | Ich | bin |
| 2 | bin | ein |
| 3 | ein | Student |
가령 bin을 입력받은 위치는 그 앞의 시작 기호와 Ich, 그리고 현재 입력 bin까지 참고해서 ein을 맞힌다. 뒤쪽 입력인 ein은 읽을 수 없다. 자기 위치를 보는 것이 허용돼도 입력과 정답을 한 칸 어긋나게 놓았으므로 정답 누설을 막을 수 있다.
점수 행렬에서 허용되지 않는 칸을 로 바꾼 뒤 softmax를 적용한다. 그 칸은 이 되어 가중합에 기여하지 않는다.

행보다 뒤쪽에 있는 열을 가리는 인과 마스크. 뉴런한알, 8:47
교차 어텐션에서는 Q를 디코더에서, K와 V를 인코더의 최종 출력에서 만든다. ‘지금 만들 번역 토큰에 필요한 원문 정보’를 찾는 계산이다. 원문 길이가 , 번역문 길이가 이면 점수표는 이다. 두 문장의 길이가 같을 필요도 없다.

번역문 쪽 질문으로 원문 표현을 참고하는 구조. 화면의 가중치는 설명용 예시다. 뉴런한알, 8:57
디코더 6층을 지나면 선형 변환으로 각 어휘의 점수를 만들고, softmax로 다음 토큰의 확률 분포를 얻는다. 원 논문은 입력과 출력 임베딩, 마지막 출력 변환에 가중치를 공유했다. 실제 번역에서는 후보 문장을 여러 개 유지하는 빔 탐색을 사용했다.
학습에서는 정답을 한 칸 밀어 넣을 수 있으므로, 모든 위치의 다음 토큰 예측을 한 번에 계산한다. 생성에서는 아직 다음 토큰이 없으므로 하나를 선택한 뒤 그 결과를 다음 입력에 붙여야 한다. 문맥을 계산하는 병렬성과 출력 토큰을 확정하는 순서는 서로 다른 문제다. 이 차이를 잡으면 ‘트랜스포머는 병렬인데 왜 답변은 차례로 나오는가’가 이해된다. 논문 3.1절과 3.2.3절
빠른 이유와 긴 문장에서 비싸지는 이유는 같은 점수표에 있다
셀프 어텐션은 어느 두 위치 사이든 직접 점수를 계산한다. RNN처럼 중간 토큰들을 차례로 거치지 않아도 된다. 이 짧은 정보 전달 경로와 행렬 계산의 병렬성이 핵심이다.

원 논문 표 1의 비교. 은 시퀀스 길이, 는 표현 차원이다. 뉴런한알, 9:44
논문은 셀프 어텐션의 위치 간 계산을 , 순환 층을 로 비교한다. 문장 길이 이 표현 차원 보다 작으면 전자가 유리하다. 동시에 셀프 어텐션에는 문장 길이만큼 이어지는 순환 의존성이 없다.
실제 블록의 비용을 셀 때는 Q, K, V를 만드는 투영과 FFN도 포함한다. 이들은 규모의 항을 더한다. 따라서 표의 두 식만 대입해 전체 모델의 실측 속도 비율로 읽으면 안 된다. 표가 보여 주는 것은 위치 사이의 연결 방식과 병렬화 가능성의 차이다.
대가는 모든 쌍을 비교한다는 데 있다. 토큰 1,000개면 헤드 하나의 점수는 100만 개, 2,000개면 400만 개다. 길이가 두 배일 때 쌍의 수는 네 배가 된다. 긴 문맥에서는 이 이차 증가가 부담이 된다. 모든 토큰을 직접 연결했기에 먼 문맥을 짧은 경로로 가져오지만, 그 연결의 수만큼 일을 해야 한다. 논문 4절
구조의 장점을 번역 성능으로 만든 학습
학습에는 WMT 2014의 영어→독일어 약 450만 문장 쌍, 영어→프랑스어 약 3,600만 문장 쌍을 사용했다. 길이가 비슷한 문장들을 묶어 배치당 원문 약 25,000토큰과 번역문 약 25,000토큰을 처리했다. 비슷한 길이끼리 묶으면 짧은 문장을 긴 문장에 맞추느라 채우는 빈칸을 줄일 수 있다.
최적화에는 Adam을 사용했다. 학습률은 처음 4,000단계 동안 선형으로 올리고, 이후 단계 수의 제곱근에 반비례하도록 내렸다. 를 학습 단계, 을 워밍업 길이라고 쓰면 다음과 같다.
초반에는 오른쪽 항이 작아 학습률이 올라가고, 에서 두 항이 만난다. 이후에는 왼쪽 항을 따라 내려간다.

기본 모델의 폭 512, 워밍업 4,000을 넣은 학습률 곡선. 뉴런한알, 10:56
레이블 스무딩도 0.1을 적용했다. 정답 토큰에만 확률을 몰아주는 목표 대신 일부 질량을 다른 토큰에 분배해 학습한다. 논문은 이 설정에서 perplexity는 나빠졌지만 정확도와 BLEU는 좋아졌다고 보고했다. 정답 하나에 부여하는 확률을 높이는 성질과 실제 번역 결과의 품질이 완전히 같은 지표는 아니라는 점을 보여 준다.
영상에 나오는 ‘512차원, 헤드 8개’와 ‘3.5일 학습, BLEU 28.4’는 각각 기본 모델과 대형 모델에 해당한다.
| 설정 | 기본 모델 | 대형 모델 |
|---|---|---|
| 인코더 / 디코더 층 | 각각 6 | 각각 6 |
| 모델 폭 | 512 | 1024 |
| 헤드 수 | 8 | 16 |
| FFN 중간 폭 | 2048 | 4096 |
| 매개변수 | 약 6,500만 | 약 2억 1,300만 |
| 학습 단계 | 10만 | 30만 |
| P100 GPU 8개에서 학습 시간 | 약 12시간 | 약 3.5일 |
| 영어→독일어 BLEU | 27.3 | 28.4 |
| 영어→프랑스어 BLEU | 38.1 | 41.8 |
구조와 매개변수는 논문 표 3, 학습 조건은 5.2절, BLEU는 표 2의 newstest2014 결과다. 영어→프랑스어 대형 모델은 초록과 표 2에 41.8, 6.1절 본문에는 41.0으로 적혀 있어 위 표는 초록과 표 2를 따른다. 원 논문 학습과 결과
BLEU는 번역 결과와 참조 번역의 단어 묶음이 얼마나 겹치는지 등을 이용하는 평가 점수다. 28.4를 정답률 28.4%로 읽는 값은 아니다. BLEU 원 논문

영어→독일어 결과와 추정 학습 FLOPs. 계산량 막대는 로그 눈금이다. 논문 표 2를 영상에서 다시 그렸다. 뉴런한알, 11:56
영상의 ‘약 23분의 1’은 이 비교에서 나온다. ConvS2S 앙상블은 FLOPs, 기본 트랜스포머는 FLOPs다. 두 값을 나누면 약 23.3이다. 이 FLOPs는 학습 시간과 GPU 수, GPU의 지속 연산 성능 추정치로 계산한 값이다. 영어→독일어에서 더 높은 BLEU를 훨씬 작은 추정 학습 계산량으로 얻었다는 것이 이 결과의 의미다.
논문은 영어 구문 분석에도 구조를 적용했다. 문장을 구문 트리로 바꾸는 과제에서도 경쟁력 있는 결과를 얻으며, 번역 이외의 시퀀스 변환 문제로 확장할 가능성을 보였다.
남는 것은 정보를 연결하는 계산 방식
이후 BERT는 양방향 문맥을 읽는 인코더 구조를 활용했고, 초기 GPT는 앞쪽 문맥으로 다음 토큰을 예측하는 디코더 기반 구조를 활용했다. 같은 출발점에서 무엇을 입력으로 보고 어떤 목표로 학습하느냐에 따라 다른 모델 계열이 나온 것이다. BERT 논문, 초기 GPT 논문
트랜스포머를 수식으로 읽으면 ‘문맥을 이해한다’는 말이 조금 더 구체적이 된다. Q와 K로 참고 비율을 정하고, V를 그 비율로 섞는다. 여러 헤드가 서로 다른 변환을 배우고, FFN이 모인 정보를 가공한다. 위치 정보와 마스크는 어떤 순서와 범위 안에서 이 계산을 할지 정한다.
원 논문의 성취는 이 조합으로 먼 위치의 정보를 직접 가져오면서 학습을 병렬화했고, 그 장점을 번역 품질과 계산 효율로 보여 줬다는 것이다. 긴 문맥의 비용도 같은 구조에서 나온다. 모든 위치를 연결하는 점수표. 이 표가 왜 유용하고 왜 비싼지 이해하면, 트랜스포머의 강점과 이후 연구가 풀어야 할 문제를 함께 볼 수 있다.
AI로 읽기 · Markdown
curl -fsSL 'https://www.readiz.com/records/transformer-attention-equations-context/index.md'