AI3 [AI] Transformer (3) 보호되어 있는 글 입니다. 2026. 4. 18. [AI] Transformer (2) 1. ) 목표 1장에서는 transforemer의 전체적인 구조에 대해 살펴보았다.이해한 내용을 요약해보면 다음과 같다. 1. Toknize(문장을 작은 조각으로 나눔)2. Embedding (토큰을 벡터로 변환)3. Attention (각 토큰 사이의 데이터를 통해 맥락 주입)4. Multilayer (각 토큰의 의미적 역할 반영)5. Attention과 Multilayer 번갈아가며 수행 (네트워크 통과)6. unembedding 행렬과 마지막 벡터의 최종 곱셈을 한 결과(Logit)를 softmax에 입력7. softMax를 통해 나온 확률분포를 통해 다음 단어 예측 이번 내용에서는 간략하게 다음과 같이 정의했던 Attention에 대해서 더 깊게 알아볼 것이다.데이터를 주고 받으며 업데이트를 한다.. 2025. 11. 30. [AI] Transformer(1) 최근 AI 프로젝트를 진행하면서 Transformer 구조를 더 깊이 이해할 필요가 생겼다.개념을 아주 쉽게 설명해주는 영상을 봐서 이 내용을 기반으로 Transformer가 무엇인지 정리해보려 한다.https://youtu.be/g38aoGttLhI1. Transformer란? Transformer는 Attention Is All You Need 논문에서 나온 개념이며, 문장을 ‘순서대로’가 아니라 전체를 한 번에 바라보며 단어들 사이의 관계를 계산하는 AI 구조다.Transformer의 중심 개념은 Self-Attention, 즉, 중요한 단어에 더 집중하는 능력이다. 나는 단어 사이의 관계와 단어의 의미를 업데이트하며, 다음으로 올 단어로 가능성이 가장 높은 것을 예측하고 선택하는 방식으로 이해했.. 2025. 11. 23. 이전 1 다음
