Interpretable Machine Learning – A Brief History, State-of-the-Art and Challenges ?

Abstract

원문

We present a brief history of the field of interpretable machine learning (IML), give an overview of state-of-the-art interpretation methods and discuss challenges. Research in IML has boomed in recent years. As young as the field is, it has over 200 years old roots in regression modeling and rule-based machine learning, starting in the 1960s. Recently, many new IML methods have been proposed, many of them model-agnostic, but also interpretation techniques specific to deep learning and tree-based ensembles. IML methods either directly analyze model components, study sensitivity to input perturbations, or analyze local or global surrogate approximations of the ML model. The field approaches a state of readiness and stability, with many methods not only proposed in research, but also implemented in open-source software. But many important challenges remain for IML, such as dealing with dependent features, causal interpretation, and uncertainty estimation, which need to be resolved for its successful application to scientific problems. A further challenge is a missing rigorous definition of interpretability, which is accepted by the community. To address the challenges and advance the field, we urge to recall our roots of interpretable, data-driven modeling in statistics and (rule-based) ML, but also to consider other areas such as sensitivity analysis, causal inference, and the social sciences.

요약

XAI라는 용어대신 IML(Interpretable Machine Learning)이라고 쓰고 있는데 해당 용어는 서로 바꿔서 사용할 수 있다고 말하고 있다. 이 논문의 목적은 IML에 대한 역사를 리뷰하고 앞으로 해결해야할 과제들을 논하고 있다. XAI를 위해서는 인과추론, 불확실성추정등의 다양한 문제가 남아 있으면 이런 문제가 해결될 때 비로소 IML은 사회에서 엄격한 정의를 갖고 인정받을 수 있다고 말한다. 신기한 것은 저자가 XAI의 발전을 위해서 인과추론, 민감도 분석, 마지막으로 사회과학의 역할을 강조하는데, 특히 어떤 부분에서 사회과학의 역할이 필요한지는 확인해볼 필요가 있다.

# ML Methods
– 1) 모델의 구성요소 2) 모델의 민감도 3) 대체모델을 분석하려는지에 따라 IML은 분류될 수 있다.

모델의 구성요소를 분석

  • 모델의 각 요소를 나눠서 설명할 수 있어야 하는데, 선형회귀나, 의사결정나무 등은 가능
  • 어느 정도 복잡해지면 각 모델 요소를 나눠서 분석하기는 어렵다.

조금더 복잡한 모델을 분석하는 경우

  • CNN 등의 모델에서는 피쳐맵(Feature Map)을 활성화시켜주는 특정 이미지를 찾거나 생성시켜줌으로써 모델을 이해할 수 있다.
  • 랜덤포레스트는 지니지수 등을 이용해서 대략이나마 모델의 구조를 파악할 수 있다.

각각의 예측결과를 설명하는 것

  • 전체의 예측결과와 각각의 예측결과를 설명하는 방식으로 분류할 수 있음
  • 대체로 모델에 영향을 받지 않는 해석방법(Model Agonistic)
  • Shapley, Conterfactual explanation 등이 유명함.
  • Salency map과 같이 특정 모델(CNN)에 특화된 것도 있음.

전체적으로 모델의 패턴을 설명하는 것

  • 예상되는 모델의 결과를 이해하기 위해서 사용됨
  • Feature Importance 모델이 대표적.

대체 모델(Surrogate Model)

  • 기존 모델의 행동 패턴을 복사하도록 디자인된 설명 가능 모델
  • 설명은 대체모델을 이용해서 진행함
  • LIME 등의 모델이 대표적인 모형임

앞으로 해결해야 하는 것.

통계적 불확실성

  • 많은 IML 모형이 설명에 대한 불확실성을 정량화하여 제공하고 있지는 못함.

인과추론

  • 현재 대부분의 모형은 단순히 상관관계를 설명하는 구조로 데이터자체의 근본적인 특성보다는 데이터에서 드러나는 단순한 패턴 등만을 고려해 모델이 구성됨.

피쳐(Feature) 의존성

  • 피쳐간 상관성이 높을 때 문제가 발생할 수 있고 해당 문제는 특히 Permutation 기반 기법에서 문제가 될 수 있음
  • 해결을 위해서 Conditional Permutation Scheme 등이 연구되고 있다.

Footnotes

Interpretable Machine Learning — A Brief History, State-of-the-Art and Challenges

Read more

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성은 잘못된 인과추론 결과를 만들어낼 수 있습니다.

다중공선성(Multi Collinearity) * **Multi-Collinearity(다중공선성)**는 독립 변수들 간의 강한 상관관계가 존재할 때 발생합니다. 즉, 한 독립 변수가 다른 독립 변수에 의해 설명될 수 있을 정도로 상관관계가 높은 상황을 의미합니다. * 이 문제는 주로 회귀 분석에서 나타나며, 변수들 간의 관계를 해석하는 데 있어 큰 장애물이 될 수 있습니다. * 일반적인 회귀식을 $Y=

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P-Value는 불확실성을 감안하여 모델의 적합도를 평가합니다.

Bayesian P- Value * Bayesian P-Value는 **모델의 적합도(goodness-of-fit)**를 평가하는 데 사용됩니다. * 사후 분포(posterior distribution)를 이용하여 실제 데이터와 모델이 생성한 예상 데이터를 비교함으로써, 관측된 데이터가 모델에 의해 얼마나 잘 설명되는지를 평가합니다. * 빈도주의 p-값은 "관찰된 데이터보다 극단적인 데이터가 나올 확률"을 계산하지만, Bayesian P-Value는 "모델이 실제

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non-Identifiability는 Model Parameter를 고유하게 식별할 수 없는 현상입니다.

Non Identifiability * Non-Identifiability는 주어진 데이터와 모델에 대해 특정 파라미터를 고유하게 식별할 수 없는 상황을 의미합니다. 즉, 여러 파라미터 값들이 동일한 데이터를 생성할 수 있으며, 이로 인해 특정 파라미터 값을 확정적으로 추정하기 어렵게 됩니다. * 베이지안 추론에서 Non-Identifiability는 사후 분포가 특정 파라미터 값에 대해 명확하게 수렴하지 않고, 여러 값들에 대해 비슷한 확률을

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram은 큰 분산을 갖거나 비정규 형태의 데이터를 위한 히스토그램입니다.

Rootgram * 히스토그램의 변형으로 데이터가 비정규적이거나 큰 분산을 가지는 경우, 정확한 분포를 파악하기 위해 사용됩니다. * 일반적으로 히스토그램은 데이터의 빈도를 직접적으로 나타내기 때문에, 큰 값이 빈번하게 발생하는 경우 상대적으로 작은 값을 잘 드러내지 못하는 경향이 있습니다. 반면, Rootgram은 빈도를 제곱근 형태로 변환하여, 데이터 분포의 차이를 더 잘 시각화할 수 있도록 돕습니다 * 여기서