Data

Representation Fine Tuning

Bongho, Lee

Bongho, Lee

— 1 min read
Representation Fine Tuning
Photo by Gabriel Barletta / Unsplash

FineTuning 장점

  • Privacy
  • Reliability
  • Cost-Efficient Performance
  • More Control

FineTuning

  • Full Fine Tuning: 모든 Layer & Parameter를 업데이트
  • Parameter-Efficient Finetuning (PEFT): Parameter의 일부만 업데이트
    • Low Rank Adaptation (LoRA)
    • AdaLoRA
    • Adaption Prompt (LLaMA Adapter).
  • Alignment Raining: 사용자 선호도를 반영하기 위한 방식
  • Representation Finetuning
    • Parameter(Weight) 업데이트 대신 모델 내 Hidden Representation을 수정

Representation Finetuning

  • Feed Forward 과정에서 Internal Representation이나 Hidden State를 변경하는 식이며, 모델 Representation에 대해서 직접 개입하며 Task specific이다.
  • Paper에서는 LoRA와 유사한 LoReFT(Low-rank Linear Subspace ReFT)을 소개
    • Low Rank Approximation을 이용, 고차원을 저차원으로 근사하여 Linear Subspace에 접근하여 Representation을 수정, 이 때 Linear Subspace에 주요 Context들이 충분히 인코딩 되어 있다고 가정

  • 장점
    • Fewer Parameters: PEFT보다 더 적은 Parameter를 사용, 리소스 측면에서 더 적은 양을 요구한다.
    • Flexibility: Hugging Face 모든 언어모델에서 작동
    • Performance: PEFT와 유사하거나 비슷한 성능 제공
  • Motivation
    • Linear Representation Hypothesis
    • Interchange Interventions
    • Distributed interchange intervention

References

Read more

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=
Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P- Value * Bayesian P-Value는 **모델의 적합도(goodness-of-fit)**를 평가하는 데 사용됩니다. * 사후 분포(posterior distribution)를 이용하여 실제 데이터와 모델이 생성한 예상 데이터를 비교함으로써, 관측된 데이터가 모델에 의해 얼마나 잘 설명되는지를 평가합니다. * 빈도주의 p-값은 "관찰된 데이터보다 극단적인 데이터가 나올 확률"을 계산하지만, Bayesian P-Value는 "모델이 실제
Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non Identifiability * Non-Identifiability는 주어진 데이터와 모델에 대해 특정 파라미터를 고유하게 식별할 수 없는 상황을 의미합니다. 즉, 여러 파라미터 값들이 동일한 데이터를 생성할 수 있으며, 이로 인해 특정 파라미터 값을 확정적으로 추정하기 어렵게 됩니다. * 베이지안 추론에서 Non-Identifiability는 사후 분포가 특정 파라미터 값에 대해 명확하게 수렴하지 않고, 여러 값들에 대해 비슷한 확률을
Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram * 히스토그램의 변형으로 데이터가 비정규적이거나 큰 분산을 가지는 경우, 정확한 분포를 파악하기 위해 사용됩니다. * 일반적으로 히스토그램은 데이터의 빈도를 직접적으로 나타내기 때문에, 큰 값이 빈번하게 발생하는 경우 상대적으로 작은 값을 잘 드러내지 못하는 경향이 있습니다. 반면, Rootgram은 빈도를 제곱근 형태로 변환하여, 데이터 분포의 차이를 더 잘 시각화할 수 있도록 돕습니다 * 여기서