1. 콘텐츠 추천 CTR 추정과 광고 추천의 차이점은 무엇인가요?
CTR 추정은 콘텐츠 추천과 광고 추천 모두에서 중요한 부분이지만 광고 비즈니스 시나리오에서는 CTR 추정 효과에 대한 요구 사항이 더 엄격한 경우가 많습니다.
콘텐츠 추천의 목표는 비교적 간단합니다. 사용자가 관심을 갖는 콘텐츠의 순위를 최대한 높게 설정하고, auc 지표를 직접 사용하여 그 효과를 측정하면 됩니다. 모델 순위 효과가 더 좋습니다.
광고 추천에서는 정렬이 완료된 후 추론 링크도 있기 때문에 일반적으로 예측 모델의 두 가지 측면에 중점을 둡니다. (1) 모델 순위 효과가 좋습니다 (2) 모델 예측 최대한 정확하게 추정합니다.
자세히 설명하기 위해 예를 들어보겠습니다.
콘텐츠 추천에는 5개의 후보 기사가 있고 2개의 기사가 사용자의 관심도에 따라 추천된다고 가정합니다. 기사가 A> B>C>D>E라면 5개 기사에 대한 CTR 예측 모델이 예측한 값은 0.05, 0.04, 0.03, 0.02, 0.01이고 예측값은 0.04, 0.03, 0.02, 0.01, 0.005 를 얻어 최종적으로 얻어지는 정렬순서는 동일하며, 사용자가 관심을 갖는 컨텐츠가 우선적으로 순위를 매겨 사용자에게 노출됩니다.
광고 추천에 있어서 3개의 후보 광고가 있고, 2개의 광고가 사용자에게 추천되었다고 가정하면, 3개의 후보 광고의 실제 클릭률은 0.03, 0.01, 0.005이고, 해당 입찰가는 0.1, 0.2, 0.3입니다. 최종 광고 정렬은 예상 CTR 크기가 아닌 ecpm() 기준으로 정렬되기 때문입니다. auc를 변경하지 않고 그림 1과 같이 모델 추정치가 정확하면 정렬 순서는 A>B>C입니다. 그림 2와 같이 모델 추정치가 너무 높으면 정렬 순서는 C>B>A입니다. ; 그림 3과 같이 모델 추정치가 낮은 경우 정렬 순서는 A>C>B입니다.
위 예의 경우 모델이 각 요청에 대해 모든 후보 광고를 추정하는 정도입니다. 너무 높거나 너무 낮으면 입찰가를 곱한 후에도 광고 순위는 추정이 정확할 때와 동일하게 유지되며 플랫폼의 수익은 여전히 변하지 않을 수 있습니다. 그러나 현실은 모델이 일부 광고를 크게 과대평가하고, 일부 광고를 상대적으로 적게 과대평가하게 되어 정렬 후 노출되는 광고의 실제 클릭률이 낮아지고 클릭수도 예상보다 낮아지게 되어 결과적으로 플랫폼 수익 감소 온라인에 광고를 게재할 때, 모델의 광고에 대한 과소평가로 인해 최적의 광고가 노출되지 않아 클릭이 발생하지 않을 수 있으며, 플랫폼의 수익도 감소하게 됩니다. 따라서 auc 지표를 통해서만 모델 효과를 평가하는 것만으로는 충분하지 않습니다.
2. 오프라인에서 CTR 예측 모델을 평가하는 데 일반적으로 사용할 수 있는 지표는 무엇입니까?
(1) auc
가장 일반적으로 사용되는 지표는 auc 값이 클수록 모델 순위가 더 정확합니다.
(2) 로그손실
로그손실은 추정된 데이터 분포와 실제 데이터 분포의 차이를 반영할 수 있습니다. 훈련 모델이 기본 선형 모델인 경우 일반적으로 사용되는 훈련 목적 함수는 로그손실입니다.
일반적으로 로그손실 값은 어느 범위에서 모델이 더 효과적이라는 것을 나타냅니까?
(3) copc
각 구간 내에서 모델 추정치가 너무 높거나 너무 낮은지 관찰할 수 있습니다.
3. CTR 예측 모델이 매우 잘 작동한다면 온라인에서는 어떤 성과를 거둘까요?
실제 온라인 CTR이 높아지면 수입도 늘어납니다.
참조:
/s/weP5a5iGT3Cfvy_eKZLJSg