Representation Fine Tuning

FineTuning 장점

• Privacy
• Reliability
• Cost-Efficient Performance
• More Control

FineTuning

• Full Fine Tuning: 모든 Layer & Parameter를 업데이트
• Parameter-Efficient Finetuning (PEFT): Parameter의 일부만 업데이트
  • Low Rank Adaptation (LoRA)
  • AdaLoRA
  • Adaption Prompt (LLaMA Adapter).
• Alignment Raining: 사용자 선호도를 반영하기 위한 방식
  • Direct Preference Optimization
• Representation Finetuning
  • Parameter(Weight) 업데이트 대신 모델 내 Hidden Representation을 수정

Representation Finetuning

• Feed Forward 과정에서 Internal Representation이나 Hidden State를 변경하는 식이며, 모델 Representation에 대해서 직접 개입하며 Task specific이다.
• Paper에서는 LoRA와 유사한 LoReFT(Low-rank Linear Subspace ReFT)을 소개
  • Low Rank Approximation을 이용, 고차원을 저차원으로 근사하여 Linear Subspace에 접근하여 Representation을 수정, 이 때 Linear Subspace에 주요 Context들이 충분히 인코딩 되어 있다고 가정

• 장점
  • Fewer Parameters: PEFT보다 더 적은 Parameter를 사용, 리소스 측면에서 더 적은 양을 요구한다.
  • Flexibility: Hugging Face 모든 언어모델에서 작동
  • Performance: PEFT와 유사하거나 비슷한 성능 제공
• Motivation
  • Linear Representation Hypothesis
  • Interchange Interventions
  • Distributed interchange intervention

References

• Why Representation Finetuning is the Most Efficient Approach Today?
• Representation fine-tuning (ReFT): A Powerful Parameter-Efficient Way to Fine-tune Language Models
• https://github.com/stanfordnlp/pyreft
• ReFT paper