A/B-testen in cold email: wat kun je echt meten?

Je laat twee versies van je eerste mail tegen elkaar lopen. Na een paar weken heeft versie A een replypercentage van 6,1% en versie B 4,6%. A scoort 32% beter, dus A is de winnaar. Of toch niet?

Met ruim 1.500 mails per variant kan zo'n verschil nog gewoon toeval zijn. Dat zie je pas als je het narekent.

A/B-testen in cold email is nuttig, maar er zitten een paar valkuilen in. De aantallen zijn klein, de verschillen ook, en de verleiding om te snel een winnaar te kiezen is groot. In dit artikel lees je hoe je een test opzet die wel iets zegt: wat je test, hoeveel mails je nodig hebt en hoe je de uitkomst leest. Met cijfers uit onze campagnes als voorbeeld.

Hoe voer je A/B-testen uit in een B2B-outreachcampagne?

Een A/B-test is simpel in theorie. Je maakt twee versies van een mail, verdeelt je leads willekeurig over beide en kijkt welke beter scoort. In je verzendtool stel je dat in als varianten van dezelfde stap in de sequence.

In de praktijk zijn er vier voorwaarden voordat een test iets betekent:

1. Eén verschil tegelijk. Verander je de opening, het aanbod en de vraag tegelijk, dan weet je achteraf niet welk onderdeel het verschil maakte.
2. Dezelfde lijst, dezelfde periode. Beide varianten gaan naar dezelfde soort leads in dezelfde weken. Anders meet je het verschil tussen doelgroepen of seizoenen, niet tussen mails.
3. Vooraf een steekproefgrootte kiezen. Bepaal voor de start hoeveel mails per variant je verstuurt, en kijk pas daarna naar de uitslag. Daarover verderop meer.
4. Controleren of beide varianten echt versturen. Klinkt vanzelfsprekend, maar een variant die door een instelling niet meedraait, zie je pas als je de aantallen naast elkaar legt. Check daarom in de eerste dagen of de aantallen gelijk oplopen.

Let ook op spintax, waarbij je tool per mail willekeurig een van meerdere formuleringen kiest. Dat is handig om je mails te variëren, maar het maakt elke mail een beetje anders. Houd het onderdeel dat je test buiten de spintax, anders meet je ruis.

Hoeveel mails heb je nodig voor een betrouwbare test?

Dit is de vraag die bijna niemand stelt, en het is de belangrijkste. Hoe kleiner het verschil dat je wilt meten en hoe lager je percentages, hoe meer mails je nodig hebt.

We rekenden het uit met de standaardformule voor het vergelijken van twee percentages, met 95% betrouwbaarheid en 80% kans om een echt verschil ook te vinden:

Wat je wilt meten	Mails per variant	Totaal
Replypercentage van 5% naar 7,5%	ongeveer 1.470	ongeveer 2.940
Positieve replies van 1% naar 2%	ongeveer 2.320	ongeveer 4.640
Replypercentage van 4,6% naar 6,1%	ongeveer 3.550	ongeveer 7.100
Replypercentage van 6,8% naar 7,5%	ongeveer 19.600	ongeveer 39.200

Dat zijn grote aantallen. Wie per maand een paar honderd leads mailt, kan in die tijd geen betrouwbare A/B-test draaien. Bij kleine campagnes kun je dus beter niet op de eerste mail testen. Bij een klant met ongeveer 300 nieuwe leads per maand op een campagne hebben we de A/B-test overgeslagen, omdat er nooit een betrouwbaar signaal uit zou komen.

Optimizely, een van de grootste platforms voor experimenten, schrijft in zijn uitleg over statistische significantie dat de meeste tests geen significant resultaat halen. Twee redenen die ze noemen: de veranderingen zijn te klein, en de percentages waar je op meet liggen te laag. Bij cold email is allebei vaak het geval.

Wat onze eigen tests lieten zien

Twee tests voor een bureau dat webshops helpt met advertenties laten goed zien hoe je een uitslag leest.

Test 1: observatie tegenover vraag. Variant A opende met een observatie over het bedrijf, variant B met een vraag.

Variant	Verstuurd	Replies	Reply	Positief
A, observatie	1.516	93	6,1%	13
B, vraag	1.512	70	4,6%	11

Op het eerste gezicht wint A. Maar de kans dat zo'n verschil puur toeval is, ligt rond de 7%. Dat is boven de gebruikelijke grens van 5%. Bij de positieve reacties, 13 tegen 11, is het verschil helemaal niet te onderscheiden van toeval.

Test 2: drie varianten. Een generieke, een educatieve en een observerende mail.

Variant	Verstuurd	Reply	Positief	Afmeldingen
A, generiek	2.144	6,8%	8	21
B, educatief	1.681	6,2%	7	0
C, observerend	1.644	7,5%	13	0

C leek de winnaar, maar ook hier waren de verschillen in replies te klein om iets te bewijzen. Wat wel overduidelijk was: de generieke mail leverde 21 afmeldingen op, de andere twee samen nul. Dat verschil is geen toeval. Soms zit de echte uitkomst van een test dus niet in het percentage waar je op stuurde, maar in een bijvangst.

Hoe test je onderwerpregels in koude B2B-e-mail?

Onderwerpregels zijn het populairste testobject, maar bij cold email ook het lastigste om goed te meten. De gebruikelijke maatstaf is de open rate, en die is onbetrouwbaar geworden. Mailprogramma's laden afbeeldingen vooraf of blokkeren ze, waardoor "geopend" vaak niets zegt.

Bovendien kan het meten zelf je resultaat beïnvloeden. Hunter analyseerde voor de State of Cold Email 2026 ruim 31 miljoen mails en zag een replypercentage van 7,4% bij mails zonder open tracking, tegenover 4,4% met tracking. Dat is geen gecontroleerd experiment, maar wel een reden om open tracking uit te zetten.

Test onderwerpregels daarom op replies, niet op opens. En weet dat het verschil in replies door een onderwerpregel meestal klein is, dus je hebt veel mails nodig. Wat Hunter in de data zag als richtlijn:

• Vijf tot zes woorden werkt het best.
• "Quick question"-achtige onderwerpen scoren slechter dan gemiddeld.
• Twee persoonlijke gegevens in het onderwerp gaven een hogere open rate dan één.

Gebruik zulke richtlijnen als startpunt, en test alleen als je volume genoeg is om een verschil te meten.

Welke onderdelen van een verkoopmail kun je A/B-testen?

Niet alles is even zinvol om te testen. Hoe groter het verwachte verschil, hoe sneller je een betrouwbare uitkomst hebt. Dit is onze volgorde, van grootste naar kleinste effect:

Onderdeel	Verwacht effect	Waarom
Doelgroep of segment	Groot	De juiste lijst doet meer dan de beste copy
Aanbod of invalshoek	Groot	Een ander probleem oplossen is een andere mail
Opening	Middel	Bepaalt of iemand doorleest
Call-to-action	Middel	Bepaalt of lezen ook reageren wordt
Lengte en opbouw	Klein tot middel	Vaak minder dan je denkt
Onderwerpregel	Klein	Moeilijk te meten zonder open rate

Strikt genomen is een andere doelgroep geen A/B-test van je mail, maar een vergelijking van segmenten. Toch is het vaak de test met het meeste effect. Hoe je een scherpe doelgroep kiest, lees je in de complete gids voor koude acquisitie. En hoe je de opening relevanter maakt, staat in AI personalisatie in cold email.

Call-to-actions testen in prospectiemails

De afsluitende vraag is een van de weinige onderdelen waar betrouwbaar onderzoek naar is gedaan. Gong Labs analyseerde 304.174 mails en keek welke afsluiting tot een afspraak leidde. Ze vergeleken drie soorten:

• Specifiek: "Kun je dinsdag om vier uur?"
• Open: "Heb je volgende week tijd voor een gesprek?"
• Interesse: "Is dit interessant voor jullie?"

Bij koude mails werkte de vraag naar interesse het best. Pas als iemand al in gesprek is, wint de specifieke vraag. Ook Hunter zag dat beslissers een open vraag als "Zal ik meer info sturen?" verkiezen boven direct een afspraak inplannen.

Wil je zelf een CTA testen, test dan precies die ene zin en laat de rest van de mail gelijk. Kijk niet alleen naar replies, maar vooral naar positieve replies. Een CTA die veel "nee, dank je" oplevert, is geen winnaar.

Hoe interpreteer je A/B-testresultaten van outboundcampagnes?

De grootste fout is niet een slechte test, maar te vroeg kijken. Evan Miller, bekend van zijn veelgebruikte rekentools voor A/B-tests, beschrijft in How Not To Run an A/B Test wat er gebeurt als je stopt zodra het verschil significant lijkt. De kans dat je een winnaar aanwijst die er niet is, loopt dan op tot ruim 26%, meer dan vijf keer zo hoog als je denkt. Zijn advies: bepaal vooraf hoeveel je verstuurt en houd je daaraan.

Een simpel stappenplan om een uitslag te lezen:

1. Is de steekproef groot genoeg? Vergelijk met de tabel hierboven. Zo niet, dan is de uitslag hooguit een aanwijzing.
2. Kijk naar positieve replies, niet alleen naar replies. Een variant met meer reacties maar evenveel interesse heeft niets gewonnen.
3. Kijk naar bijvangsten. Afmeldingen, bounces en boze reacties zeggen soms meer dan het hoofdcijfer.
4. Reken het verschil na. Een gratis online calculator voor significantie vertelt je in een minuut of het verschil toeval kan zijn.
5. Bevestig een winnaar met een tweede ronde. Als het verschil echt is, komt het terug.

Dezelfde les geldt buiten A/B-tests. Toen wij een nieuwe regel voor het afkeuren van leads testten op 14 leads, leek die perfect. Op de volle set van 306 leads keurde hij 63% af, tegen 17% daarvoor. Een kleine steekproef geeft je zekerheid die er niet is.

Conclusie: test minder, maar beter

A/B-testen in cold email is waardevol als je het groot genoeg en zuiver opzet. Veel tests in de praktijk zijn te klein of veranderen te veel tegelijk.

• Test één verschil tegelijk, op dezelfde lijst in dezelfde periode.
• Bepaal vooraf hoeveel mails per variant, en reken op duizenden in plaats van honderden.
• Begin bij de grote knoppen: doelgroep en aanbod, daarna pas onderwerpregels.
• Stuur op positieve replies en let op bijvangsten zoals afmeldingen.
• Controleer in de eerste dagen of alle varianten echt versturen.

Wil je meer weten over hoe we campagnes opzetten en verbeteren? Lees de pagina over onze cold email-dienst of bekijk onze werkwijze.

Lees ook: cold email KPI's over welke cijfers je meet, en intent signals in B2B-outreach over het testen van doelgroepen.

Benieuwd wat er in jouw campagnes te testen valt? Plan een gesprek, dan kijken we samen naar je cijfers.