Summio

PDF

주의력만 있으면 돼

본 논문은 순환 신경망을 어텐션 메커니즘으로 대체하여 시퀀스 모델링 분야에 혁신을 가져온 획기적인 신경망 아키텍처인 트랜스포머(Transformer)를 소개합니다.

27 분 읽기

지원 언어

요약 미리보기

트랜스포머, 'Attention Is All You Need' 논문 완전 정복기

안녕! 요즘 AI 이야기 정말 많이 듣지? 글 쓰고, 코딩하고, 번역하고, 심지어 그림까지 그리는 모델들 말이야. 그런데 이런 놀라운 AI 혁신의 중심에는 2017년에 발표된 'Attention Is All You Need'라는 논문이 있어. 이 논문이 소개한 트랜스포머(Transformer)라는 새로운 신경망 구조 덕분에 AI, 특히 언어를 다루는 분야에서 그동안 상상도 못 했던 일들이 가능해졌지. 트랜스포머가 나오기 전에는, 언어 번역 같은 순차적인 데이터를 다루는 데는 주로 순환 신경망(RNN), 그리고 좀 더 발전된 형태인 LSTM이나 GRU 같은 모델들이 쓰였어. RNN을 책 읽기에 비유하자면, 한 단어씩 읽으면서 앞서 읽었던 내용을 계속 기억하려고 노력하는 방식이지. 이게 직관적이긴 하지만, 치명적인 단점이 있어. 바로 느리다는 거야. 책 전체를 한 번에 볼 수 없고, 단어 하나하나 순서대로 처리해야 하니 학습시키는 데 시간이 엄청나게 걸리고, 모델이 복잡해지는 데도 한계가 있었지. 구글 브레인, 구글 리서치, 토론토 대학의 전문가들(Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin)이 쓴 이 논문은 과감한 아이디어를 제안했어. '순환 구조를 아예 없애버리면 어떨까? 문장 안의 모든 단어를 동시에 보고, 각 단어를 이해하는 데 어떤 단어가 가장 중요한지 파악하는 모델을 만들면 어떨까?' 여기서 바로 어텐션 메커니즘(Attention Mechanism)이 등장하는 거야. 트랜스포머는 이 어텐션 메커니즘을 기반으로 완전히 만들어졌어. 번역을 한다고 상상해 봐. 바로 앞 단어만 보는 대신, 어텐션 메커니즘은 모델이 현재 번역하려는 단어와 관련 있는 원문 문장의 어떤 단어든 직접적으로 집중할 수 있게 해줘. 마치 특정 작업을 위해 텍스트에서 가장 중요한 부분을 형광펜으로 칠하는 것과 같지. 트랜스포머는 이 개념을 극단적으로 밀어붙여서, 셀프 어텐션(Self-Attention)이라는 방식을 사용해. 이건 모델이 특정 단어를 처리할 때, 같은 문장 안에 있는 다른 모든 단어들의 중요도를 스스로 판단하는 거야. 덕분에 문장 맨 끝에 있는 대명사가 문장 맨 앞에 있는 명사와 어떻게 관련되는지 같은, 아주 멀리 떨어진 단어들 간의 의존성도 RNN보다 훨씬 효과적으로 파악할 수 있게 됐지. 결과는 어땠을까? 트랜스포머는 훨씬 더 병렬화가 가능해졌어(즉, GPU 같은 최신 하드웨어에서 훨씬 빠르게 학습시킬 수 있다는 뜻이야). 게다가 기계 번역에서 최고 수준의 결과를 달성하며 기존 기록을 훨씬 뛰어넘었지. 며칠 만에 최고 수준의 영어-독일어, 영어-프랑스어 번역 점수를 얻었다는 건, 이전에는 훨씬 오래 걸리거나 수많은 모델을 합쳐야만 가능했던 일이었어. 이건 단순히 번역에만 국한된 이야기가 아니야. 논문에서는 트랜스포머가 영어 구문 분석 같은 다른 작업에도 얼마나 잘 일반화되는지를 보여주며 그 강력함과 유연성을 입증했지. 이 논문은 BERT, GPT 같은 오늘날 우리 세상을 바꾸고 있는 수많은 모델들의 기초를 닦은 아주 중요한 논문이야. 그러니 단단히 마음먹고, 트랜스포머의 핵심 구성 요소부터 작동 방식까지, 왜 이 아키텍처가 그렇게 특별한지 함께 깊이 파헤쳐 보자고!

옛 강자들의 문제점: 왜 RNN은 우리를 느리게 만들었나

트랜스포머에 대해 신나기 전에, 왜 이게 그렇게 대단한 일이었는지 이해하는 게 정말 중요해. 오랫동안 언어 번역, 텍스트 요약, 문장 다음 단어 예측 같은 순차 모델링 작업의 왕좌를 차지하고 있던 건 바로 순환 신경망(RNN)이었어. LSTM이나 GRU 같은 것들이지. 꽤 괜찮았지만, 근본적인 한계가 있었는데, 바로 정보를 순차적으로 처리한다는 거야. 문장이 있다고 상상해 보자: "빠른 갈색 여우가 게으른 개 위로 뛰어넘는다." RNN은 이걸 이렇게 처리할 거야. 1. "빠른" 읽고, 내부 기억(은닉 상태) 업데이트. 2. "갈색" 읽고, "빠른"과 "갈색"을 기반으로 기억 업데이트. 3. "여우" 읽고, 이전 상태와 "여우"를 기반으로 기억 업데이트. 4. ... "뛰어넘는다"까지 계속. 각 단계는 이전 단계의 결과에 의존해. 이건 연쇄 반응을 일으키는데, "뛰어넘는다"의 의미를 알려면 RNN은 "빠른 갈색 여우가"까지의 정보를 성공적으로 처리하고 기억해야만 해. 이 순차적인 의존성이 핵심 문제야. 이걸 때문에 병렬화, 즉 입력의 여러 부분을 동시에 처리하는 것이 거의 불가능해져. 왜냐고? "여우"의 상태를 계산하기 전에는 "갈색"의 상태를 계산할 수 없고, 이런 식으로 계속 거슬러 올라가야 하거든. 이건 학습에 엄청난 병목 현상을 일으켜. 딥러닝 모델 학습에는 막대한 계산량이 필요한데, 이걸 순차적으로 하면 시간이 엄청나게 걸려. 방대한 데이터셋과 복잡한 모델이 있다면, 한 번의 학습을 위해 며칠, 몇 주, 심지어 몇 달을 기다려야 할 수도 있어. 게다가 시퀀스가 길어질수록, 맨 처음 정보부터 기억하는 것이 RNN에게는 점점 더 어려워져. 정보가 흘러가면서 희석되거나 사라질 수 있지. 악명 높은 "기울기 소실(vanishing gradient)" 문제인데, LSTM과 GRU가 이걸 완화하려고 설계되긴 했지만 완전히 없애진 못했어. 한편, 이미지 인식 분야에서는 이미 합성곱 신경망(CNN) 같은 아키텍처들이 병렬 처리의 힘을 보여주고 있었어. 시퀀스에 CNN과 유사한 구조를 적용하려는 시도(예: ByteNet, ConvS2S)도 있었고, 이런 모델들이 RNN보다 더 많은 병렬화를 허용하긴 했어. 하지만 이런 모델들도 종종 자체적인 문제를 안고 있었지. 문장에서 멀리 떨어진 단어들 간의 의존성을 포착하려면, 이 컨볼루셔널 모델들은 매우 깊은 레이어 스택이나 매우 큰 필터(커널)를 사용해야 했어. 이는 정보가 시퀀스의 한 부분에서 다른 부분으로 이동하는 데 걸리는 '경로 길이'가 여전히 길 수 있다는 것을 의미했고, 장거리 의존성 학습을 방해했지. 그래서 트랜스포머 이전의 상황은 기본적으로 트레이드오프였어: RNN은 순차적 의존성을 잘 포착했지만 병렬화와 속도 면에서는 끔찍했지. CNN 기반 접근 방식은 더 많은 병렬화를 제공했지만, 계산 복잡성이나 깊은 스택 없이 매우 긴 거리의 의존성을 다루는 데 어려움을 겪었어.

트랜스포머의 등장: 어텐션에 기반한 새로운 희망

'Attention Is All You Need'의 저자들은 이러한 상황을 보고 질문을 던졌어. "두 세계의 장점을 모두 얻을 수 있을까? 시퀀스 상의 거리에 상관없이 의존성을 포착하고(어텐션이 약속하는 것) 병렬화도 높은 모델을 만들 수 있을까?" 그들의 대답은 단호한 "예"였고, 핵심은 순환과 컨볼루션을 완전히 버리고 오직 어텐션 메커니즘에만 의존하는 것이었어.

어텐션이란 정확히 무엇인가?

트랜스포머 아키텍처를 자세히 보기 전에, 어텐션이 무엇인지 먼저 제대로 이해해 보자. 간단히 말해, 어텐션 메커니즘은 모델이 특정 정보를 처리할 때 입력의 특정 부분에 집중할 수 있게 해주는 거야. 당신이 글을 읽을 때를 생각해 봐: "그것" 같은 단어를 만나면, 당신의 뇌는 자동으로 뒤를 돌아보며 "그것"이 무엇을 가리키는지 알아내려고 하지. 어텐션 메커니즘은 이런 것을 흉내 내려고 해. 신경망의 맥락에서, 어텐션은 일반적으로 세 가지 구성 요소와 관련이 있어: 쿼리(Query, Q): 당신이 집중하고 있는 현재 정보 조각(예: 번역하려는 단어)을 나타내. 키(Key, K): 당신이 주목하고 싶을지도 모르는 입력 시퀀스에서 이용 가능한 정보를 나타내. 값(Value, V): 각 키와 관련된 실제 내용이나 표현을 나타내. 어텐션 메커니즘은 각 키가 쿼리와 얼마나 일치하는지를 계산해. 이 일치 점수(종종 점곱으로 계산됨)는 가중치를 만드는 데 사용돼. 이 가중치는 각 해당 값의 얼마만큼이 최종 출력을 생성하기 위해 결합되어야 하는지를 결정해. 본질적으로, 현재 맥락(쿼리)에 따라 입력의 다른 부분의 중요도를 동적으로 가중치를 부여하는 방법이야.

셀프 어텐션: 쇼의 주인공

트랜스포머의 게임 체인저는 바로 셀프 어텐션이야. 입력 시퀀스의 다른 부분에 주의를 기울이는 전통적인 어텐션과 달리, 셀프 어텐션은 단일 시퀀스의 다른 위치들을 관련시켜 해당 시퀀스의 표현을 계산해. 더 간단히 말하면, 문장의 각 단어에 대해 셀프 어텐션은 모델이 같은 문장 안에 있는 다른 모든 단어들을 살펴보고, 특정 단어를 이해하는 데 어떤 단어가 가장 관련 있는지 결정할 수 있게 해줘. 다시 "빠른 갈색 여우가 게으른 개 위로 뛰어넘는다" 문장으로 돌아가 보자. 트랜스포머가 "뛰어넘는다"라는 단어를 처리할 때, 셀프 어텐션은 "빠른", "갈색", "여우", "위로", "게으른", "개" 등 모든 단어를 동시에 고려할 수 있게 해줘. 예를 들어, 여우는 뛰어넘는 동물이니까 "여우"가 "뛰어넘는다"와 매우 관련이 있다는 것을 학습할 수 있지. 또한 "위로"가 점프가 어떻게 발생하는지를 설명하므로 관련이 있다는 것도 학습할 수 있어. 이처럼 시퀀스 상의 임의의 두 단어 간의 관계를 거리에 상관없이 직접 모델링할 수 있는 능력은 엄청나게 강력해. RNN의 순차적 병목 현상이나 CNN의 레이어 경로 제한을 우회하는 거지.

트랜스포머 아키텍처: 모든 것을 하나로 묶기

트랜스포머는 단순히 하나의 셀프 어텐션 레이어가 아니야. 이 어텐션 메커니즘들을 기반으로 신중하게 설계된 아키텍처지. 크게 인코더(Encoder)와 디코더(Decoder) 두 부분으로 구성돼. 인코더: 입력 시퀀스(예: 영어 문장)를 처리하고, 그것에 대한 풍부하고 문맥을 잘 파악한 표현을 생성하는 역할을 해. 마치 원문 문장을 깊이 읽고 이해하는 것과 같아. 디코더: 인코더의 표현을 받아, 한 번에 하나씩 출력 시퀀스(예: 프랑스어 번역)를 생성하는 역할을 해. 인코더와 디코더 모두 동일한 레이어들의 스택으로 구성돼. 원 논문에서는 둘 다 N=6개의 레이어를 사용했어. 인코더 레이어 내부: 각 인코더 레이어는 두 개의 주요 하위 레이어로 구성돼: 1. 멀티 헤드 셀프 어텐션(Multi-Head Self-Attention): 여기서 마법이 일어나. 각 위치가 인코더의 이전 레이어에 있는 모든 위치에 주의를 기울일 수 있게 해줘. 2. 위치별 피드포워드 네트워크(Position-wise Feed-Forward Network): 각 위치에 독립적으로 적용되는 간단한 완전 연결 피드포워드 네트워크야. 중요한 것은, 각 하위 레이어의 출력은 잔차 연결(residual connection)(하위 레이어의 입력을 출력에 더하는 것)을 통과한 다음 레이어 정규화(layer normalization)를 거친다는 거야. 이러한 기법들은 학습을 안정화하고 네트워크가 더 깊어질 수 있도록 하는 데 매우 중요해. 디코더 레이어 내부: 각 디코더 레이어는 세 개의 주요 하위 레이어로 구성돼: 1. 마스크된 멀티 헤드 셀프 어텐션(Masked Multi-Head Self-Attention): 인코더의 셀프 어텐션과 유사하지만, 중요한 차이가 있어: 바로 "마스킹"된다는 거야. 이 마스크는 각 위치가 후속 위치에 주의를 기울이는 것을 방지해. 왜냐고? 번역을 생성할 때는 이미 생성된 단어만 사용할 수 있고, 대상 문장의 나중에 나올 단어는 사용할 수 없기 때문이야 (이걸 자기회귀적 속성이라고 해). 2. 멀티 헤드 인코더-디코더 어텐션(Multi-Head Encoder-Decoder Attention): 디코더가 인코더의 출력과 상호 작용하는 부분이야. 쿼리는 이전 디코더 레이어에서 오고, 키와 값은 인코더 스택의 출력에서 와. 이를 통해 디코더의 각 위치는 입력 시퀀스의 모든 위치에 주의를 기울일 수 있으며, 현재 대상 단어를 생성하는 데 원본 문장의 어떤 부분이 가장 관련 있는지 파악할 수 있어. 3. 위치별 피드포워드 네트워크(Position-wise Feed-Forward Network): 인코더와 마찬가지야. 마찬가지로 각 하위 레이어 주위에 잔차 연결과 레이어 정규화가 사용돼. 이렇게 순환 구조 없이 이러한 어텐션 메커니즘과 피드포워드 네트워크에만 의존하는 아키텍처가 핵심 혁신이었어. RNN에 내재된 순차적 처리의 필요성을 완전히 제거한 거지.