Data

Representation Fine Tuning

Bongho, Lee

Bongho, Lee

— 1 min read
Representation Fine Tuning
Photo by Gabriel Barletta / Unsplash

FineTuning 장점

  • Privacy
  • Reliability
  • Cost-Efficient Performance
  • More Control

FineTuning

  • Full Fine Tuning: 모든 Layer & Parameter를 업데이트
  • Parameter-Efficient Finetuning (PEFT): Parameter의 일부만 업데이트
    • Low Rank Adaptation (LoRA)
    • AdaLoRA
    • Adaption Prompt (LLaMA Adapter).
  • Alignment Raining: 사용자 선호도를 반영하기 위한 방식
  • Representation Finetuning
    • Parameter(Weight) 업데이트 대신 모델 내 Hidden Representation을 수정

Representation Finetuning

  • Feed Forward 과정에서 Internal Representation이나 Hidden State를 변경하는 식이며, 모델 Representation에 대해서 직접 개입하며 Task specific이다.
  • Paper에서는 LoRA와 유사한 LoReFT(Low-rank Linear Subspace ReFT)을 소개
    • Low Rank Approximation을 이용, 고차원을 저차원으로 근사하여 Linear Subspace에 접근하여 Representation을 수정, 이 때 Linear Subspace에 주요 Context들이 충분히 인코딩 되어 있다고 가정

  • 장점
    • Fewer Parameters: PEFT보다 더 적은 Parameter를 사용, 리소스 측면에서 더 적은 양을 요구한다.
    • Flexibility: Hugging Face 모든 언어모델에서 작동
    • Performance: PEFT와 유사하거나 비슷한 성능 제공
  • Motivation
    • Linear Representation Hypothesis
    • Interchange Interventions
    • Distributed interchange intervention

References

Read more

ML 코드 작성시 유의사항

ML 코드 작성시 유의사항

유의사항 * 코드의 작성방식: 다른사람이 코드를 읽고 이해할 수 있는가? * 코드의 성능: 의도치 않은 부작용이 발생하는가? * 코드의 복잡성: 유스케이스에 비해 설계가 과도하고 부족한가 * 개선의 용이성: ML코드가 지속적으로 리팩토링 되는가? 코드 작성방식에 따른 개발자(+데이터과학자)의 유형 분류 출처 * 머신러닝 엔지니어링 인 액션
ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

ELPD는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 보여주는 지표입니다.

기본 개념 * ELPD(Expected Log Predictive Density)는 모델이 새로운 데이터를 얼마나 잘 예측하는지를 나타내는 지표로, 주어진 데이터 포인트에 대해 모델이 예측한 확률의 로그 값(로그확률)을 합산한 것입니다. $$\text{ELPD} = \sum_{i=1}^{n} \log p(y_i \mid \text{data})$$ * $n$: 데이터 포인트의 수 * $y_i$ : 실제 관측된
잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링은 표본의 변동성 추정 방법중 하나입니다.

잭나이프 샘플링이란? * 잭나이프 샘플링은 표본 데이터에서 하나의 관측치를 제거한 여러 하위 샘플을 만들어, 이들 샘플에 대해 통계량을 계산한 후 그 결과를 바탕으로 전체 표본의 변동성을 추정하는 방법입니다. 잭 * 나이프는 주로 표본의 분산을 추정하거나 통계량의 편향을 줄이기 위해 사용됩니다. 예시 * 주어진 표본이 [x1, x2, x3, x4]라면, 잭나이프 샘플링은 다음과 같은
정확한 단위로 대화를 하는 것이 중요합니다.

정확한 단위로 대화를 하는 것이 중요합니다.

자전거를 타고 약속장소로 이동하는 중이었습니다. 근처 과일 가게에 이런 문구가 적혀있었습니다. "한 상자에 X,000원" 과일을 직접 사먹지는 않는 편이기 때문에 가격은 모르지만 꽤 매력적인 가격대였습니다. 그래서 잠시 "살까?" 망설였습니다. 하지만 이내 자전거를 타고 다시 가던 길을 갔습니다. 한 상자 안에 몇개가 들어가 있을지를 몰랐기 때문입니다.