[논문] EXPLAINABLE ARTIFICIAL INTELLIGENCE: UNDERSTANDING, VISUALIZING AND INTERPRETING DEEP LEARNING MODELS 정리

1.왜 읽게 되었는가

현재 많은 관심을 받고 있는 Artficial Intelligence 관련 Deep Learning 등의 기법은 성능은 매우 좋은 편이지만 Input과 Out간의 관계가 비선형적이기 때문에 어떻게 결과가 나왔는지 이해하기가 어렵다. 다시 말해서 비즈니스에서 활용하기에는 상당한 문제가 있다. 그래서 개인적으로 관심있는 분야가 바로 Intrepretability(해석력)이고 이에 대한 리뷰논문이 있어서 읽어보게 되었다.

2.어떤 내용인가?

1) XAI가 필요한 이유

(1) Verification of the system

  • 모델은 해당 모델이 사용된 산업분야의 전문가에 의해서 검증이 가능해야 한다. 특히 헬스케어와 같이 민감한 분야에서는 더더국 그렇다.

(2) Improvement of the system

  • 모델의 약점을 파악하여 개선하거나 다른 모델과 비교하기 위해서는 모델의 해석가능여부가 매우 중요하다

(3) Learning From the system

  • AI는 우리가 생각하지 못한 인사이트를 제공할 수가 있기 때문에 인간인 우리가 그 것을 지식으로서 흡수하기 위해서 필요하다.

(4) Compliance to legislation

  • AI는 점점 삶의 다양한 결정에 개입할 가능성이 높다. 이때 우리는 해당 의사결정에 대해 사유를 들을 수 있어야 하기 때문에 모델의 설명가능성은 매우 중요한 부분이다.

2) XAI 관련 최근 방법론 소개

  • 책에서는 Sensitive Analysis와 Layer-Wise Relevance Propagation의 개념과 이를 각기 다른 세 종류의 데이터에 적용해본 결과를 소개한다.

(1) Sensitive Analysis(SA)

  • SA는 각 입력변수들의 중요성을 정량적으로 평가할 수 있다.

  • SA는 가장 중요한 입력변수의 변화에 최종결과물은 민감하게 반응할 것이라고 가정한다. 그래서 SA는 모델 자체를 설명하기 보다는 모델의 분산에 대해 집중하여 설명한다.

(2)Layer-Wise Relevance Propagation (LRP)

  • SA와는 다르게 최대 불확실성 대비 예측에 관해 상대적인 수치로 설명한다. 예를 들어 특정 이미지가 닭을 포함한지 여부를 예측하는데 있어 중요하다고 판단되는 픽셀들을 식별한다.

  • 각 입력 변수별로 Relevance Score이계산될 때까지 backward propagation을 하되, Relevance Score의 총합은 유지가 되도록 한다.

  • 각 Layer l 별로 Xj를 특정 뉴런의 Activation이라고 할 때, Relevance Score Rk는 Layer +l에 위치한 뉴런과 뉴런 j에서 뉴런 k로 연결되어 있는 가중치 Wjk와 연관이 있다. 간단하게 표기하면 다음과 같다.

  • ε는 Division by Zero를 막기 위한 Term이라고 보면된다.

5) Experiment

  • SA 와 LRP를 세가지 다른 타입의 문제 해결에 적용하였다.

A. Image Classification
  • 화산과 커피컵 이미지를 테스트 이미지로 하고 모델은 GoogleNet을 사용하였다.

  • LRP는 모델이 화산 부분과 커피컵의 윤곽을 이미지 분류하는데 사용하였음을 보여주었고 SA는 LRP보다는 하늘 부분이 화산을 파악하는데 사용되었다고 하는데 하늘은 화산과는 인지적으로 볼 때 아무 관련이 없었다.

  • 즉 SA는 Input의 변화에 따라 모델의 예측력이 얼마나 민감하게 변할 수 있는지 정도만 확인할 수 있었지만 픽셀이 어떻게 예측에 기여하는지를 확인할 수가 없었다. 따라서 LRP 보다 나은 설명력을 제공하였다.

B. Text Document Classification
  • Sci.med 분야의 글을 분류한 모델을 대상으로 테스트 해보았을 때 LRP는 해당 글에서 Positive Evidence와 Negative Evidence를 인식한데 반해서 SA는 Positive/Negative 구분을 잘하지 못하였다.

  • 따라서 LRP가 보다 정확하게 설명해주었다고 보았다.

C. Human Action Recognition in Video
  • 사람이 윗몸일으키기를 하는 압축영상을 Blockwise Motion Vector 형태로 사용, 윗몸 일으키기를 예측하는 SVM Classifier에 LRP를 적용하였다.

  • LRP는 어느 프레임 안에서 어떤 부분이 예측을 위한 Source로 쓰였는지, 그리고 해당 프레임이 나타난 시간대도 파악하는 것을 확인할 수 있었다.

참고자료: Link

Site Footer

Sliding Sidebar