Multi Head Attention1 Transformer 모델의 핵심! 어텐션(Attention) 쉽게 이해하기 어텐션이란? 🤔어텐션(Attention)은 중요한 부분에 집중하는 기술입니다. 문장 내에서 각 단어 간의 관계를 분석하여 가장 의미 있는 정보를 강조하는 역할을 합니다. 예를 들어,"나는 어제 친구와 영화를 봤다."이 문장에서 "영화"라는 단어를 올바르게 이해하려면 "봤다"와의 관계가 중요합니다. 어텐션은 이런 관련성을 계산해 자연어 처리 모델이 핵심 정보를 더욱 잘 이해하도록 돕는 기술입니다.Transformer에서 어텐션의 작동 원리 🛠️Transformer 모델의 어텐션 메커니즘은 Query(Q), Key(K), Value(V) 세 가지 요소를 중심으로 작동합니다.Query (Q): 찾고 싶은 정보 (ex. "영화"와 관련된 단어 찾기)Key (K): 각 단어의 특징 정보 (ex. 문장 내 모든.. 2025. 2. 22. 이전 1 다음
