Mean Average Precision(MAP), Precision at K, Recall at K

랭킹시스템 또는 추천시스템에서 좋은 랭킹(추천)을 했는지 평가하는 방법으로

MAP, Precision at K, Recall at K가 있다.

 

Precision at K

첫번째 페이지에 뭐나오는지 관심이 더 많은데...여기서 precision at K 

 

top k개의 결과로 precision(정밀도) 계산

예시 : 검색 결과 페이지들의 관련이있는 것은 O로 없는 것은 X라고 했을때,

 

O, X, O, O, O, X 라면

 

precision at 3은 O, X, O 중에 O의 갯수 2/3

precision at 4는 O, X, O, O 중에 O의 갯수 3/4

precision at 5는 4/5

 

장점 : 관련문서 set 사이즈에 대한 estimation이 필요가 없다.

단점 : 안정성이 떨어져고 평균도 제대로 안나옴

 

Recall at K

K개 추천했을때, 추천되어야 했을 관련있는 문서가 몇개 추천되어져 있느냐를 나타내는 measure임.

 

 

 

MAP

Ranked 검색 결과를 평가할 때 사용하는 metric이다.

평균 정밀도의 평균을 취하여 여러 쿼리의 순위를 요약

 

첫번째 쿼리 검색결과가 10개가 있는데

관련된 것이 5개

 

두번째 쿼리 검색결과가 10개가 있는데 

관련된 것이 3개

 

추천결과가 hit했을때만 precision의 평균

 

$ Average Precision Query_{1} = (\frac {1}{1} + \frac {2}{3} + \frac {3}{6} + \frac {4}{9} + \frac {5}{10}) / 5 = 0.62 $ 

$ Average Precision Query_{2} = (\frac {1}{2} + \frac {2}{5} + \frac {3}{7}) / 3 = 0.44 $

$ MAP = (0.62+0.44)/2 =0.53 $

 

 

 

 

https://iamksu.tistory.com/72

Spark - Ranking systems (1) - 이론