Fisher Information의 직관적인 이해

Fisher Information을 직관적으로 이해하기 위해서는 이계도함수를 알 필요가 있다. 이계도함수는 쉽게 생각하면 변화량의 변화량을 나타낸다. 즉 기울기가 변화하는 속도를 의미한다. 이차함수 $f(x)=ax^2 +b$에서 $f'(x)=2ax$이다. 이 걸 다시 미분하면 $f''(x)= 2a$로 기울기가 $2a$만큼 변화한다는 것을 의미한다 a가 작아지면 작아질 수록 전체적인 그래프의 모양이 크게 변하지 않고 완만한 모습일 것이다.

여기서 MLE(Maximum Likelihood Estimation)을 여기에 연결해보자. 관찰된 값 $X$들을 바탕으로 MLE를 이용해서 Parameter를 추정하는데 이 때 우리가 통상하는 일들이 미분을 해서 최대값을 구하는 것이다. 이 관점에서 한번 더 미분을 해봄으로써 그 최대값이 정말로 정확한 정보인지를 판단해볼 수 있을 것이다. 다시 말해도 한 번더 미분했는데 그 변화량의 값이 크다면 그 최대값은 정말 독보적으로 뾰족한, 봉우리에 위치한 값인지 확신하는 그 정도로 간주할 수 있을 것이다.