Sayılarla ne demek?
Bir değişikliğin işe yarayıp yaramadığını anlamanın tek güvenilir yolu, değişikliği almayan benzer bir grupla karşılaştırmaktır. Yeni bir akış kurulduktan sonra satışlar arttıysa bunun nedeni akış mı, sezon mu, bir reklam kampanyası mı? Kontrol grubu bu soruyu yanıtlar; çünkü aynı dönemde aynı koşullara maruz kalmış ama tek farkı değişikliği almamak olan kişilerden oluşur.
Grubun gücü rastgele seçimden gelir. Kişiler kendi davranışlarına göre değil, yazı tura atar gibi gruplara ayrıldığında iki grup her açıdan benzer olur: aynı oranda sadık müşteri, aynı oranda yeni abone, aynı oranda büyük sepet. Böylece aradaki fark, değişikliğin etkisi olarak okunabilir.
Kontrol grubunun ne alacağı testin sorusuna bağlıdır. Yeni bir e-posta tasarımı test ediliyorsa kontrol grubu eski tasarımı alır. Bir akışın toplam katkısı ölçülüyorsa kontrol grubu akışı hiç almaz; bu özel duruma holdout test ya da bekletme grubu denir. Her iki durumda da amaç tek bir değişkeni izole etmektir.
Kontrol grubunu bozan durumlar
| Sorun | Sonucu |
|---|---|
| Rastgele olmayan seçim | Gruplar baştan farklı olur |
| Grubun test sırasında değişmesi | Karşılaştırma bozulur |
| Kontrol grubunun başka kanaldan aynı mesajı alması | Etki olduğundan küçük görünür |
| Çok küçük grup | Fark tesadüften ayırt edilemez |
| Farklı dönemlerin karşılaştırılması | Sezon etkisi karışır |
Üçüncü satır sıklıkla gözden kaçıyor. E-postadan hariç tutulan kontrol grubu, aynı teklifi SMS ya da reklam yoluyla görüyorsa, iki grup arasındaki fark gerçek etkiyi yansıtmaz.
Kontrol grubu kurarken
- Soruyu netleştirin. Neyin etkisi ölçülüyor?
- Rastgele atayın. Davranışa göre değil.
- Grubu dondurun. Test boyunca üyelik değişmesin.
- Kanalları kapatın. Aynı mesaj başka yoldan gitmesin.
- Boyutu hesaplayın. Beklenen farkı görebilecek büyüklük.
Uygulamada ne oluyor?
En sık durum, kontrol grubu yerine önceki dönemle karşılaştırma yapılması. Bu ay geçen aydan iyi geçti diye değişiklik başarılı sayılıyor; oysa arada sezon, fiyat ve reklam bütçesi de değişti.
İkinci gözlem, kontrol grubunun elle seçilmesi. "Daha az önemli" müşteriler kontrol grubuna konuyor; iki grup baştan farklı olduğu için sonuç değişikliğin etkisini değil, gruplar arasındaki farkı gösteriyor.
Üçüncüsü, dinamik segmentle kontrol grubu tanımlanması. Grup kendi kendine güncellendiği için test boyunca üyeleri değişiyor; statik bir segment ile test başında dondurulmalı.
Dördüncüsü, grubun çok küçük tutulması. Kaybedilecek satış endişesiyle kontrol grubu yüzde birde bırakılıyor; ortaya çıkan fark istatistiksel olarak anlamlı olamayacak kadar belirsiz kalıyor.
Beşincisi, sonucun yalnızca dönüşüm oranıyla okunması. Test grubu daha fazla sipariş verdi ama daha fazla indirim de kullandı; katkı marjı üzerinden bakıldığında fark küçülebiliyor.
Altıncısı, iki grubun farklı uzunlukta izlenmesi. Test grubu dört hafta, kontrol grubu iki hafta izleniyor; karşılaştırma aynı dönem ve aynı süre üzerinden yapılmalı.
Yedincisi, grup büyüklüklerinin beklenenden sapmasının fark edilmemesi. Yüzde 90–10 planlanan ayrım yüzde 94–6 çıkıyor; bu sapma bir teknik sorunun işareti ve sonuçları şüpheli kılıyor.
Sekizincisi, reklam platformlarında da benzer bir mantığın aranmaması. Incrementality ölçümleri, reklamı gören ve görmeyen gruplar arasında aynı karşılaştırmayı yapıyor; CRM ile reklam ölçümü aynı dili konuşabiliyor.
Dokuzuncusu, kontrol grubundaki kişilerin sonsuza kadar bekletilmesi. Test bitti ama grup hala mesaj almıyor; bu kişiler hem gelir kaybına hem de unutulmuş bir segmente dönüşüyor.
Onuncusu, işlemsel mesajların da kontrol grubundan kesilmesi. Sipariş onayı ve kargo bildirimi test kapsamı dışında tutulmalı; aksi halde müşteri deneyimi bozuluyor.
On birincisi, birden fazla testin aynı kişilerde çakışması. Bir kişi aynı anda üç farklı testin kontrol grubunda; testler birbirini etkiliyor ve hiçbirinin sonucu temiz çıkmıyor.
On ikincisi, sonuçların paylaşılmaması. Kontrol grubuyla ölçülmüş bir etki yalnızca bir ekibin raporunda kalıyor; bütçe kararlarını veren ekip hala platform raporlarına bakıyor.
Neyi göstermez?
Kontrol grubu, etkinin neden oluştuğunu açıklamaz. Farkın büyüklüğünü gösterir; mekanizmayı anlamak için davranış verisine ve ek testlere bakmak gerekir.
Sıkça sorulan sorular
Holdout grubundan farkı ne?
Kontrol grubu genel kavramdır ve eski versiyonu alabilir; holdout grubu ise ölçülen programı hiç almayan özel bir kontrol grubudur.
Ne kadar büyük olmalı?
Beklenen farkı tesadüften ayırabilecek kadar; küçük farklar büyük gruplar gerektirir.
Önceki dönemle karşılaştırma yeterli mi?
Hayır; sezon, fiyat ve reklam gibi etkenler karışır. Aynı dönemdeki rastgele bir grup gerekir. Yakından ilişkili bir kavram olan Automation Split Test, bir otomasyon akışının farklı versiyonlarını karşılaştırarak hangisinin daha iyi dönüştüğünü ölçen deneydir.
Bu kavramın bütün resim içindeki yerini Retention Pazarlama Rehberi içinde ayrıntılı anlattım.
GA4, GTM, Meta Pixel, CAPI, Google Ads dönüşüm, TikTok Pixel ve event doğrulama ile sağlam ölçümleme altyapısı.
