AI

선형 회귀 : 가장 훌륭한 예측선 긋기 x변수에 따라서 y값은 변한다. x변수가 하나라면 단순 선형 회귀 x1,x2,x3 … 처럼 변수가 여러개라면 다중 선형 회귀 선형 회귀는 정확한 직선을 그려내는 과정이다. → 선형 회귀는 최적의 기울기 a와 y절편 b를 구하는 과정이다. 최소 제곱법 (method of least squares) 변수가 하나 뿐(단순 선형 회귀)이라면 최소 제곱법 (method of least squares)이 사용된다. 오차가 가장적은, 주어진 좌표의 특성을 가장 잘 나타내는 직선을 만들 수 있다. 오차 평가 알고리즘 변수가 하나가 아니라 여러 개일 때는 최소 제곱법이 힘들다. 그러니까 임의의 선을 그리고 난 후, 수정하면서 최적의 선을 만들어보자. → 일단 그리고 수정한다면 나중..

트랜스퍼 러닝 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용하는 기법 기존에는 태스크를 처음부터 학습했었기 때문에, 트랜스퍼 러닝은 학습 속도가 빨라지고 새로운 태스크를 더 잘 수행하는 경향이 생김. 기존 태스크1을 Upstream 태스크라고 부르고 새롭게 할 태스크2를 Downstream 태스크라고 부른다. 업스트림 테스크를 학습하는 과정을 프리트레인(pretrain)이라고 부른다. 업스트림 태스크 다음 단어 맞히기 자연어의 문맥(context)을 모델에 내재화하고 다양한 다운스트림 태스크에 적용해 성능을 향상시켰다. GPT 계열의 경우 다음 단어 맞히기를 태스크로 프리트레인했다. → 예) ‘티끌 모아 00’에서 ‘태산’을 넣을 수 있도록 학습한다. 당연히 ‘태산’이 나올 확률을 높히고 다른 ..

한동안 의도치 않게 자연어에 대해서 알아야만 한다. 모르는 단어가 너무 많다. 하나씩 정리해보고 공부한다. 부스트코스의 무료강의를 많이 참고했다. 나도 멋지게 선형대수, 확률통계 이해해서 확확 이해하고 싶은데, 추상적으로 이해된다. 나중에 내가 잘 되면 수정해야겠다. Word Embedding 이란? 자연어를 단어들의 시퀀스라고 볼때, 특정한 차원상의 특정한 점, 벡터로 표현할 수 있을 것이다. 텍스트 데이터셋을 학습 데이터로 주고 좌표 공간의 차원 수를 미리 정의해서 입력으로 워드 임베딩 알고리즘에 준다면 학습 이후 데이터에서 나타난 각각의 최적의 좌표값, 벡터를 얻어낼 수 있다. 비슷한 의미를 가진 단어가 좌표 공간상에 비슷한 공간(벡터로)에 있게 됨 Kitty는 Cat와 가깝지만 Hamburger와..