Abstract

원문

We present a brief history of the field of interpretable machine learning (IML), give an overview of state-of-the-art interpretation methods and discuss challenges. Research in IML has boomed in recent years. As young as the field is, it has over 200 years old roots in regression modeling and rule-based machine learning, starting in the 1960s. Recently, many new IML methods have been proposed, many of them model-agnostic, but also interpretation techniques specific to deep learning and tree-based ensembles. IML methods either directly analyze model components, study sensitivity to input perturbations, or analyze local or global surrogate approximations of the ML model. The field approaches a state of readiness and stability, with many methods not only proposed in research, but also implemented in open-source software. But many important challenges remain for IML, such as dealing with dependent features, causal interpretation, and uncertainty estimation, which need to be resolved for its successful application to scientific problems. A further challenge is a missing rigorous definition of interpretability, which is accepted by the community. To address the challenges and advance the field, we urge to recall our roots of interpretable, data-driven modeling in statistics and (rule-based) ML, but also to consider other areas such as sensitivity analysis, causal inference, and the social sciences.

요약

XAI라는 용어대신 IML(Interpretable Machine Learning)이라고 쓰고 있는데 해당 용어는 서로 바꿔서 사용할 수 있다고 말하고 있다. 이 논문의 목적은 IML에 대한 역사를 리뷰하고 앞으로 해결해야할 과제들을 논하고 있다. XAI를 위해서는 인과추론, 불확실성추정등의 다양한 문제가 남아 있으면 이런 문제가 해결될 때 비로소 IML은 사회에서 엄격한 정의를 갖고 인정받을 수 있다고 말한다. 신기한 것은 저자가 XAI의 발전을 위해서 인과추론, 민감도 분석, 마지막으로 사회과학의 역할을 강조하는데, 특히 어떤 부분에서 사회과학의 역할이 필요한지는 확인해볼 필요가 있다.

# ML Methods
– 1) 모델의 구성요소 2) 모델의 민감도 3) 대체모델을 분석하려는지에 따라 IML은 분류될 수 있다.

모델의 구성요소를 분석

• 모델의 각 요소를 나눠서 설명할 수 있어야 하는데, 선형회귀나, 의사결정나무 등은 가능
• 어느 정도 복잡해지면 각 모델 요소를 나눠서 분석하기는 어렵다.

조금더 복잡한 모델을 분석하는 경우

• CNN 등의 모델에서는 피쳐맵(Feature Map)을 활성화시켜주는 특정 이미지를 찾거나 생성시켜줌으로써 모델을 이해할 수 있다.
• 랜덤포레스트는 지니지수 등을 이용해서 대략이나마 모델의 구조를 파악할 수 있다.

각각의 예측결과를 설명하는 것

• 전체의 예측결과와 각각의 예측결과를 설명하는 방식으로 분류할 수 있음
• 대체로 모델에 영향을 받지 않는 해석방법(Model Agonistic)
• Shapley, Conterfactual explanation 등이 유명함.
• Salency map과 같이 특정 모델(CNN)에 특화된 것도 있음.

전체적으로 모델의 패턴을 설명하는 것

• 예상되는 모델의 결과를 이해하기 위해서 사용됨
• Feature Importance 모델이 대표적.

대체 모델(Surrogate Model)

• 기존 모델의 행동 패턴을 복사하도록 디자인된 설명 가능 모델
• 설명은 대체모델을 이용해서 진행함
• LIME 등의 모델이 대표적인 모형임

앞으로 해결해야 하는 것.

통계적 불확실성

• 많은 IML 모형이 설명에 대한 불확실성을 정량화하여 제공하고 있지는 못함.

인과추론

• 현재 대부분의 모형은 단순히 상관관계를 설명하는 구조로 데이터자체의 근본적인 특성보다는 데이터에서 드러나는 단순한 패턴 등만을 고려해 모델이 구성됨.

피쳐(Feature) 의존성

• 피쳐간 상관성이 높을 때 문제가 발생할 수 있고 해당 문제는 특히 Permutation 기반 기법에서 문제가 될 수 있음
• 해결을 위해서 Conditional Permutation Scheme 등이 연구되고 있다.

Footnotes

Interpretable Machine Learning — A Brief History, State-of-the-Art and Challenges