Representation Fine Tuning
![Representation Fine Tuning](https://images.unsplash.com/reserve/YfHSzr8TM2TFHS4gpbig_Pastor-Diego-3-29-14-21.jpg?crop=entropy&cs=tinysrgb&fit=max&fm=jpg&ixid=M3wxMTc3M3wwfDF8c2VhcmNofDF8fEZpbmV0dW5pbmd8ZW58MHx8fHwxNzE2NzgwNjAxfDA&ixlib=rb-4.0.3&q=80&w=1200)
FineTuning 장점
- Privacy
- Reliability
- Cost-Efficient Performance
- More Control
FineTuning
- Full Fine Tuning: 모든 Layer & Parameter를 업데이트
- Parameter-Efficient Finetuning (PEFT): Parameter의 일부만 업데이트
- Low Rank Adaptation (LoRA)
- AdaLoRA
- Adaption Prompt (LLaMA Adapter).
- Alignment Raining: 사용자 선호도를 반영하기 위한 방식
- Representation Finetuning
- Parameter(Weight) 업데이트 대신 모델 내 Hidden Representation을 수정
Representation Finetuning
- Feed Forward 과정에서 Internal Representation이나 Hidden State를 변경하는 식이며, 모델 Representation에 대해서 직접 개입하며 Task specific이다.
- Paper에서는 LoRA와 유사한 LoReFT(Low-rank Linear Subspace ReFT)을 소개
- Low Rank Approximation을 이용, 고차원을 저차원으로 근사하여 Linear Subspace에 접근하여 Representation을 수정, 이 때 Linear Subspace에 주요 Context들이 충분히 인코딩 되어 있다고 가정
- 장점
- Fewer Parameters: PEFT보다 더 적은 Parameter를 사용, 리소스 측면에서 더 적은 양을 요구한다.
- Flexibility: Hugging Face 모든 언어모델에서 작동
- Performance: PEFT와 유사하거나 비슷한 성능 제공
- Motivation
- Linear Representation Hypothesis
- Interchange Interventions
- Distributed interchange intervention