Automation Split Test Nedir?

Sayılarla ne demek?

Tek bir kampanya e-postasında A/B testi hızlı sonuç verir: iki konu satırı birkaç saat içinde karşılaştırılır. Otomasyon testinde durum farklıdır. Akışa her gün yalnızca belirli sayıda kişi girer, dolayısıyla örneklem yavaş birikir; test haftalar, bazen aylar sürer.

Test edilebilecek şeyler de daha geniştir. Yalnızca mesaj içeriği değil, akışın yapısı da denenebilir: ilk hatırlatma bir saat sonra mı yoksa dört saat sonra mı gitmeli? Dizi üç mesaj mı yoksa beş mesaj mı olmalı? SMS ikinci adımda mı yoksa son adımda mı devreye girmeli? Bu sorular, tek e-posta testlerinin yanıtlayamayacağı türdendir.

Başarı ölçüsü de akış düzeyinde seçilmelidir. Bir kolun ilk e-postası daha yüksek açılma oranı alabilir ama akışın sonunda daha az sipariş üretebilir. Doğru karşılaştırma, akışa giren kişi başına gelir ya da dönüşüm oranı üzerinden yapılır.

Neler test edilebilir?

"Teşvik" satırı en çok bilgi veren testlerden biri. İndirimsiz kol biraz daha az sipariş getirse bile, katkı marjı hesabında indirimli kolu geride bırakabiliyor.

Testi kurarken

1. Tek bir soruyu test edin. Aynı anda bir değişken.
2. Girişte rastgele ayırın. Kişi akışa girerken kola atansın.
3. Başarı ölçüsünü önceden seçin. Giren kişi başına gelir ya da katkı.
4. Yeterli süre bekleyin. En az bir iki tam iş döngüsü.
5. Kazananı bilinçli uygulayın. Otomatik seçime körü körüne güvenmeyin.

Uygulamada ne oluyor?

En sık durum, testin çok erken bitirilmesi. İlk hafta bir kol öne geçiyor ve kazanan ilan ediliyor; birkaç yüz kişilik farklar çoğu zaman tesadüf ve sonraki haftalarda kayboluyor.

İkinci gözlem, ilk mesajın açılma oranına göre karar verilmesi. Daha merak uyandıran konu satırı daha çok açılıyor ama akışın sonunda sipariş getirmiyor; akış düzeyindeki sonuç farklı bir kazanan gösterebiliyor.

Üçüncüsü, birden fazla değişkenin aynı anda değiştirilmesi. B kolunda hem zamanlama hem içerik hem teşvik farklı; kazanan belli ama hangi değişikliğin işe yaradığı bilinmiyor.

Dördüncüsü, sezon etkisinin göz ardı edilmesi. Test büyük bir indirim dönemine denk geliyor; o dönemin davranışı normal haftaları temsil etmiyor.

Beşincisi, platformun otomatik kazanan seçiminin sorgulanmaması. Bazı araçlar belirli bir süre sonra kazananı kendisi seçiyor; bu seçim açılma ya da tıklama gibi ara bir ölçüye dayanıyorsa işletmenin asıl hedefiyle örtüşmeyebiliyor.

Altıncısı, kolların eşit dağılmadığının fark edilmemesi. Yüzde 50–50 planlanan ayrım yüzde 58–42 çıkıyor; bu, atama mekanizmasında bir sorun olduğuna işaret ediyor ve sonuçlar güvenilmez hale geliyor.

Yedincisi, abonelikten çıkma oranının izlenmemesi. Daha uzun akış biraz daha fazla satış getiriyor ama çıkış oranını da artırıyor; bu yan etki hesaba katılmadan kazanan seçilmemeli.

Sekizincisi, küçük akışlarda anlamsız testler. Günde birkaç kişinin girdiği bir akışta test aylarca sürüyor ve yine de net sonuç çıkmıyor; bu durumda en iyi uygulamalarla kurulmuş tek bir akış daha verimli.

Dokuzuncusu, kanal maliyetinin hesaptan düşülmemesi. SMS ekleyen kol daha çok sipariş getiriyor ama SMS mesaj başına ücretli; net katkı hesaplanmadan kol kazanan sayılıyor.

Onuncusu, test sonuçlarının kaydedilmemesi. Aynı test bir yıl sonra yeniden yapılıyor; çünkü ne denendiği ve ne çıktığı hiçbir yerde yazılı değil.

On birincisi, kazananın bütün segmentlerde aynı sanılması. Yeni müşterilerde kısa akış, mevcut müşterilerde uzun akış daha iyi olabiliyor; ortalama sonuç bu farkı gizliyor.

On ikincisi, kontrol grubu ile A/B testinin karıştırılması. A/B testi iki akış versiyonunu karşılaştırır; akışın hiç olmamasına göre ne kattığını görmek için ayrıca akışı hiç almayan bir grup gerekir.

Neyi göstermez?

Otomasyon A/B testi, akışın kendisinin işe yarayıp yaramadığını göstermez. İki versiyon arasındaki farkı ölçer; akışın toplam katkısı için akışsız bir grup gerekir.

Sıkça sorulan sorular

Tek e-posta testinden farkı ne?

Zamanlama, uzunluk ve kanal sırası gibi yapısal değişkenler test edilebilir; sonuç akış düzeyinde ölçülür ve test daha uzun sürer.

Hangi ölçü kullanılmalı?

Akışa giren kişi başına gelir, sipariş ya da katkı; ilk mesajın açılma oranı yanıltabilir.

Test ne kadar sürmeli?

Her kolda yeterli sayıda kişi birikene ve en az bir iki tam haftalık döngü tamamlanana kadar. Yakından ilişkili bir kavram olan Subject Line, e-postanın gelen kutusunda görünen konu satırıdır; açılıp açılmayacağını belirleyen en kritik unsurdur.

Bu kavramın bütün resim içindeki yerini Retention Pazarlama Rehberi içinde ayrıntılı anlattım.