반응형 트랜스포머2 생성형 AI 모델, LLM 모델 생성 및 구조부터 성능 최적화와 학습 전략 방법 #1 이번 글에서는 생성형 AI 모델의 기본적인 구조와 모델을 생성하고, 모델의 성능을 향상하기 위해 효율적으로 훈련하는 다양한 학습 방법과 최적화 기법들을 정리해 보겠습니다. 생성형 AI 모델의 핵심 아키텍처 LLM의 기반 트랜스포머 (Transformer)현재 대규모 언어 모델(LLM)의 핵심 아키텍처입니다. '어텐션 메커니즘'을 통해 입력 시퀀스 내의 요소들 간의 관계를 효율적으로 학습하며, 텍스트 생성에서 압도적인 성능을 보여줍니다. 최근에는 이미지(비전 트랜스포머, ViT), 음성, 비디오 생성 분야로도 활용 범위가 확장되고 있습니다.GAN (Generative Adversarial Networks)생성자(Generator)와 판별자(Discriminator)라는 두 개의 신경망이 서로 경쟁하며.. 2025. 6. 16. LLM과 SLM 비교, 언어 모델의 트랜스포머 아키텍처와 응용 분야 #49 인공지능(AI)은 지난 몇 년 동안 급격한 발전을 이뤄왔으며, 그 중에서도 언어 모델(Language Model)은 자연어 처리(NLP) 분야에서 중요한 역할을 하고 있습니다. 언어 모델은 인간의 언어를 이해하고 생성하는 데 중점을 두고, 다양한 응용 프로그램에서 사용됩니다. 이 글에서는 특히 대규모 언어 모델(LLM, Large Language Model)과 소규모 언어 모델(SLM, Small Language Model)의 개념을 소개하고, 이들 모델이 어떻게 다른지, 그리고 각각의 강점과 약점은 무엇인지 살펴보겠습니다. 대규모 언어 모델(LLM)과 소규모 언어 모델(SLM)LLM(Large Language Model)LLM은 '대규모 언어 모델'로 번역되며, 매우 큰 데이터 세트를 사용해 훈련된 인.. 2024. 8. 12. 이전 1 다음 반응형
