Sayılarla ne demek?
Holdout testi, artımsallığı ölçmenin en doğrudan yoludur. Bir kampanyanın kitlesinden, örneğin yüzde 10'luk bir kesim ayrılır ve test süresince bu kesime reklam gösterilmez. Test bittiğinde, reklamı gören yüzde 90 ile görmeyen yüzde 10'un sonuçları kişi başına karşılaştırılır. Aradaki fark, kampanyanın gerçek katkısıdır ve artımsal gelir olarak hesaplanır.
Testin birimi soruya göre seçilir. Tek bir reklam platformundaki kampanya için kişi düzeyinde ayrım yapılabilir; platformların dönüşüm artışı (lift) araçları bunu kendi içinde yönetir. Birden fazla kanalın, televizyonun ya da mağaza satışlarının etkisi ölçülecekse, ayrım coğrafi olarak yapılır: benzer satış eğilimine sahip bazı iller test, bazıları kontrol grubu olur. Türkiye'de il bazında satış verisi olan işletmeler için bu yöntem uygulanabilir bir seçenektir.
Holdout testi, CRM tarafındaki bekletme grubuyla aynı mantığa dayanır ama farklı bir soruya yanıt verir. Bekletme grubu e-posta ve SMS programının katkısını ölçer; reklam holdout testi ise reklam harcamasının ek etkisini ölçer. İki test aynı dönemde yapıldığında, kanalların birbirinin satışını ne kadar paylaştığı da görülebilir.
Test tasarımı
| Karar | Seçenekler | Dikkat |
|---|---|---|
| Birim | Kişi ya da bölge | Kanal sayısına ve satış kanalına göre |
| Kontrol oranı | Yüzde 5–20 arası yaygın | Küçük oran daha büyük kitle gerektirir |
| Süre | Birkaç hafta | Karar döngüsünü kapsamalı |
| Ölçü | Kişi başına sipariş ya da gelir | Önceden belirlenmeli |
| Sonrası dönem | Test bittikten sonra kısa izleme | Gecikmeli etkiyi yakalar |
"Ölçü" satırındaki "önceden belirlenmeli" ifadesi kritik. Test bittikten sonra en iyi görünen ölçüyü seçmek, tesadüfi farkları gerçek etki gibi göstermeye yol açar.
Holdout testi yaparken
- Soruyu yazın. Hangi kampanyanın etkisi ölçülüyor?
- Birimi ve oranı seçin. Kişi ya da bölge, yüzde kaç?
- Başarı ölçüsünü önceden belirleyin. Sonradan değiştirmeyin.
- Test boyunca değişiklik yapmayın. Fiyat, kreatif, bütçe sabit.
- Sonucu güven aralığıyla okuyun. Tek bir sayı değil.
Uygulamada ne oluyor?
En sık durum, testin çok kısa tutulması. Bir haftalık testte satın alma kararı daha uzun süren ürünlerin etkisi tam görünmüyor; sonuç reklamın katkısını olduğundan düşük gösteriyor.
İkinci gözlem, kontrol grubunun başka kampanyalardan reklam görmesi. Test edilen kampanyadan çıkarılan kişiler aynı markanın başka bir kampanyasında aynı ürünü görüyor; iki grup arasındaki fark daralıyor.
Üçüncüsü, bölge testinde farklı yapıdaki bölgelerin eşleştirilmesi. Büyükşehir ile küçük bir il karşılaştırılıyor; satış eğilimleri zaten farklı olduğu için sonuç anlamsız kalıyor. Test öncesi dönemde benzer seyreden bölgeler seçilmeli.
Dördüncüsü, test sırasında kampanyanın değiştirilmesi. Test ortasında yeni kreatif ekleniyor ya da bütçe iki katına çıkarılıyor; ölçülen etki artık başlangıçtaki kampanyaya ait değil.
Beşincisi, kontrol oranının gereksiz küçük tutulması. Satış kaybından çekinildiği için yüzde 2'lik bir kontrol grubu ayrılıyor; fark istatistiksel olarak anlamlı olamayacak kadar belirsiz çıkıyor.
Altıncısı, sonucun tek bir sayı olarak raporlanması. "Artımsallık yüzde 40" deniyor ama güven aralığı yüzde 10 ile 70 arasında; bu belirsizlik karar vericilere aktarılmıyor.
Yedincisi, sonrası dönemin izlenmemesi. Reklamın etkisi test bittikten sonra da birkaç gün sürebiliyor; kısa bir izleme dönemi eklenmeden gecikmeli satışlar kaçırılıyor.
Sekizincisi, platform lift araçlarının koşullarının bilinmemesi. Bu araçlar genellikle belirli harcama ve dönüşüm hacmi gerektiriyor; küçük hesaplarda bölge testi daha uygulanabilir olabiliyor.
Dokuzuncusu, mağaza ve pazaryeri satışlarının dışarıda kalması. Reklam çevrim dışı ya da pazaryeri satışlarını da etkiliyor; yalnızca web sitesi satışları ölçüldüğünde katkı eksik hesaplanıyor.
Onuncusu, sonuçların bütün kampanyalara genellenmesi. Yeniden hedefleme kampanyasında düşük çıkan artımsallık, yeni kitle kampanyalarına da uygulanıyor; her kampanya türünün kendi testine ihtiyacı var.
On birincisi, testin bir kez yapılıp bırakılması. Bir yıl önceki sonuç bugünkü kreatif ve rekabet koşullarını yansıtmıyor; düzenli tekrar, bütçe kararlarını güncel tutuyor.
On ikincisi, testin yönetimle önceden konuşulmaması. Test sırasında satışlar biraz düşünce test yarıda kesiliyor; testin maliyeti ve süresi baştan kabul edilmediğinde sonuç hiç alınamıyor.
Neyi göstermez?
Holdout testi, etkinin nedenini ya da hangi kreatifin işe yaradığını göstermez. Kampanyanın toplam katkısını ölçer; neyin çalıştığını anlamak için A/B testleri gerekir.
Sıkça sorulan sorular
Kontrol grubu ne kadar büyük olmalı?
Genellikle yüzde 5 ile 20 arası; küçük oranlar daha büyük toplam kitle ve daha uzun süre gerektirir.
Bölge testi ne zaman tercih edilir?
Birden fazla kanalın, televizyonun ya da mağaza satışlarının etkisi ölçülecekse.
CRM bekletme grubundan farkı ne?
Bekletme grubu e-posta ve SMS iletişimini, holdout testi reklam harcamasının etkisini ölçer.
Bu kavramın bütün resim içindeki yerini Performans Pazarlama Rehberi içinde ayrıntılı anlattım.
GA4, GTM, Meta Pixel, CAPI, Google Ads dönüşüm, TikTok Pixel ve event doğrulama ile sağlam ölçümleme altyapısı.
