metamong-data 님의 블로그

1. Diversity (다양성)정의: 추천 리스트 내 아이템 간의 유사도가 낮을수록 다양성이 높음평가 방식: 오프라인, 아이템 임베딩 간 코사인 유사도 등으로 계산예시 코드:from sklearn.metrics.pairwise import cosine_similarityimport numpy as np# 추천 리스트 내 아이템 임베딩 벡터 (예: 5개 아이템)item_vectors = np.random.rand(5, 100) # 100차원 임베딩# 유사도 행렬sim_matrix = cosine_similarity(item_vectors)# diversity = 1 - 평균 유사도 (자기 자신 제외)avg_sim = (np.sum(sim_matrix) - len(sim_matrix)) / (len(si..

한눈에 보는 요약온라인 평가는 머신러닝 모델·알고리즘을 실제 운영 환경에서 실시간으로 검증하는 방법으로, 오프라인 평가가 제공하지 못하는 사용자 행동·비즈니스 지표를 직접 측정할 수 있다. 주요 기술은 A/B 테스트, 다중 슬롯(멀티-암드) 밴딧, 스트림 창 (window) 기반 측정, 개념 드리프트 탐지이며, 대규모 데이터 스트림 프레임워크(MOA·Flink 등)를 통해 구현된다. 실무에서는 오프라인 지표가 충분히 안정화된 후 온라인 평가를 적용하고, 통계적 유의성·실험 설계·실시간 모니터링으로 품질을 보증한다. (Shaped | Recommendations and Search, Medium, MOA, Optimizely)개요온라인 평가(Online Evaluation)는 실제 트래픽을 투입한 실험적 ..

개요추천 시스템의 성능을 정량적으로 평가하기 위해 다양한 지표들이 사용됩니다. 이러한 지표들은 추천 결과의 정확도, 사용자 만족도, 비즈니스 목표 달성 여부 등을 측정하는 데 도움을 줍니다. 본 문서에서는 주요 평가 지표들의 정의, 수식, 특징, 그리고 계산 예시를 정리합니다.1. Precision@K정의추천된 상위 K개 아이템 중에서 실제로 사용자가 선호한 아이템의 비율을 측정합니다.수식$\text{Precision@K} = \frac{\text{Number of relevant items in top K}}{K}$특징추천 목록의 정확도를 평가합니다.높은 Precision@K 값은 사용자가 관심 있는 아이템을 상위에 잘 추천했음을 의미합니다.계산 예시추천 목록: [A, B, C, D, E]사용자가 선호..