트랜스퍼 러닝 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 기존에는 태스크를 처음부터 학습했었기 때문에, 트랜스퍼 러닝은 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 생김. 기존 태스크1을 Upstream 태스크라고 부르고 새롭게 할 태스크2를 Downstream 태스크라고 부른다. 업스트림 테스크를 학습하는 과정을 프리트레인(pretrain)이라고 부른다. 업스트림 태스크 다음 단어 맞히기 자연어의 문맥(context)을 모델에 내재화하고 다양한 다운스트림 태스크에 적용해 성능을 향상시켰다. GPT 계열의 경우 다음 단어 맞히기를 태스크로 프리트레인했다. → 예) ‘티끌 모아 00’에서 ‘태산’을 넣을 수 있도록 학습한다. 당연히 ‘태산’이 나올 확률을 높히고 다른 ..
