자연어처리

트랜스퍼 러닝 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 기존에는 태스크를 처음부터 학습했었기 때문에, 트랜스퍼 러닝은 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 생김. 기존 태스크1을 Upstream 태스크라고 부르고 새롭게 할 태스크2를 Downstream 태스크라고 부른다. 업스트림 테스크를 학습하는 과정을 프리트레인(pretrain)이라고 부른다. 업스트림 태스크 다음 단어 맞히기 자연어의 문맥(context)을 모델에 내재화하고 다양한 다운스트림 태스크에 적용해 성능을 향상시켰다. GPT 계열의 경우 다음 단어 맞히기를 태스크로 프리트레인했다. → 예) ‘티끌 모아 00’에서 ‘태산’을 넣을 수 있도록 학습한다. 당연히 ‘태산’이 나올 확률을 높히고 다른 ..

한동안 의도치 않게 자연어에 대해서 알아야만 한다. 모르는 단어가 너무 많다. 하나씩 정리해보고 공부한다. 부스트코스의 무료강의를 많이 참고했다. 나도 멋지게 선형대수, 확률통계 이해해서 확확 이해하고 싶은데, 추상적으로 이해된다. 나중에 내가 잘 되면 수정해야겠다. Word Embedding 이란? 자연어를 단어들의 시퀀스라고 볼때, 특정한 차원상의 특정한 점, 벡터로 표현할 수 있을 것이다. 텍스트 데이터셋을 학습 데이터로 주고 좌표 공간의 차원 수를 미리 정의해서 입력으로 워드 임베딩 알고리즘에 준다면 학습 이후 데이터에서 나타난 각각의 최적의 좌표값, 벡터를 얻어낼 수 있다. 비슷한 의미를 가진 단어가 좌표 공간상에 비슷한 공간(벡터로)에 있게 됨 Kitty는 Cat와 가깝지만 Hamburger와..