본문 바로가기

Data Science35

어텐션(Attention) 이해하기 어텐션의 사전적 의미는 '주의'입니다. 텍스트 처리 관점에서는 입력된 텍스트에서 단어들 간의 관련성을 '주의 깊게' 파악한다는 의미로 이해할 수 있습니다. 어텐션이 발표되기 전까지는 RNN 기반 전이학습(Transfer Learning)이 가진 대규모 데이터셋 학습의 한계를 해결하기 위한 연구가 여러 대학에서 진행되고 있었습니다. 2017년 구글브레인에서 발표한 Attention is All you need는 이 문제를 단순히 개선하는 데 그치지 않고 완전히 해결할 수 있는 획기적인 연구논문이었습니다. 2025년 현재, 트랜스포머 아키텍처가 세상에 등장한 지 10년이 다 되어가는 시점에서 LLM이라는 형태로 우리 삶에 녹아들고 있는 것을 보면, 당시 느꼈던 혁신적인 변화의 예감이 틀리지 않았음을 알 수 .. 2025. 1. 16.
LLM이란 무엇인가? LLM이란?LLM(Large Language Model)은 대규모 데이터를 학습하여 인간과 유사한 방식으로 자연어를 처리하고 생성할 수 있는 인공지능 모델을 의미합니다. LLM은 자연어 처리(NLP: Natural Language Processing) 기술의 핵심으로, 텍스트 데이터를 이해하고 생성하는 데 뛰어난 성능을 발휘합니다.대표적인 LLM으로는 OpenAI의 GPT(Generative Pre-trained Transformer) 시리즈, Google의 BERT, Meta의 LLaMA 등이 있습니다.목차LLM이란?LLM의 주요 특징LLM의 작동원리LLM의 역사LLM을 이해하기 위한 필수 용어LLM 대표적 모델상용 LLM모델오픈소스 LLM모델맺음말LLM의 주요 특징LLM의 개념을 이해하기 위한  주요.. 2025. 1. 15.
AI와 머신러닝 차이 완벽히 이해하기 AI와 머신러닝의 개념적 차이를 이해하는 것은 AI와 머신러닝 기술을 실제로 활용할 때 매우 중요한 기초가 됩니다. 각 기술의 특성과 한계를 정확히 파악함으로써, 프로젝트의 목적에 맞는 적절한 접근 방식을 선택할 수 있기 때문입니다.AI 시스템을 구축할 때는 인간의 사고방식을 모방한 전체적인 지능형 시스템을 설계하는 것이 목표이며, 이는 문제 해결, 의사결정, 자연어 처리 등 다양한 능력을 포함합니다.  반면 머신러닝은 그 시스템 내에서 데이터를 기반으로 특정 작업을 수행하기 위한 학습 방법으로 활용되며, 패턴 인식과 예측 모델 생성에 특화되어 있습니다. AI와 머신러닝의 기본 개념인공지능(AI)과 머신러닝은 자주 혼용되어 사용되지만, 실제로는 명확한 차이가 있습니다. 두 개념의 차이를 한 줄로 정리하자.. 2025. 1. 14.
Mamba 아키텍처 소개 Mamba 아키텍처는 시퀀스 모델링 분야에서 트랜스포머(Transformer)의 한계를 극복하기 위해 개발된 새로운 신경망 구조입니다. Mamba는 긴 시퀀스를 효율적으로 처리하고, 연산 비용을 선형적으로 증가시키며, 메모리 사용과 병렬 처리 기능을 최적화하는 것을 목표로 합니다. Mamba 아키텍처Mamba 아키텍처는 긴 데이터 시퀀스를 처리하기 위해 구조화된 상태 공간 시퀀스 모델(Structured State Space sequence model, S4)을 통합합니다.S4는 연속 시간, 순환(Recurrent), 컨볼루션 모델을 결합하여 긴 의존성을 효과적으로 모델링합니다. 이를 통해 불규칙하게 샘플링된 데이터와 무한한 문맥(unbounded context)을 처리할 수 있으며, 학습과 추론 과정에.. 2025. 1. 13.
언어모델의 발전과정 (RNN에서 트랜스포머 아키텍처까지) RNN(Recurrent Neural Networks)은 자연어 처리(NLP)의 기본 아키텍처로 오랫동안 활용되어 왔습니다. 하지만 트랜스포머(Transformer)의 등장으로 언어 모델의 패러다임이 완전히 바뀌었습니다. 이러한 혁신은 모델의 성능 향상, 효율성, 그리고 확장 가능성 측면에서 획기적인 전환점이 되었습니다. 이제 이러한 발전 과정과 변화의 배경을 살펴보겠습니다.머신러닝, 딥러닝에 주로 사용된 RNNRNN은 시퀀스 데이터(Sequential Data)를 처리하기 위해 설계된 네트워크로, 입력 데이터의 순서를 고려하며 학습할 수 있는 특성을 가지고 있습니다.딥러닝이나 머신러닝 분야에서는 텍스트, 오디오, 시계열과 같은 데이터를 시계열 데이터라고 불렀습니다. 트랜스포머가 개발되기 전까지는 RNN.. 2025. 1. 13.
통계 기본, 변수의 정의 및 종류 통계를 공부하다 보면 항상 나오는 변수!독립변수, 종속 변수, 결과 변수 등등등,, 대충 의미는 알겠지만 정확하게 무엇인지 아리송 할때가 많았다. 그렇기 때문에 변수의 정의와 종류를 정리 해보려고 한다. 독립변수(Independent Variable)(= 예측변수, 처치변수, 원인변수) : 다른 변수에 영향을 주는 변수, 종속변수에 대응되는 개념: 회귀분석에서는 예측변수, 실험에서는 처치변수, 인과관계에서는 원인변수 라고 불림 종속변수(Dependent Variable) (= 기준변수, 결과변수): 다른 변수의 변화에 따라 변화하는, 영향을 받는 변수. 독립변수에 대응되는 개념:회귀분석, 실험과 인과관계에서는 기준변수, 결과변수 라고 불림 통제변수(Control Variable) : 원치않는 변수, 연구.. 2015. 1. 26.

티스토리툴바