Seis versiones del mismo correo, y ningun ganador

Una diferencia de cinco veces que no significa nada

Los ultimos catorce dias nuestro sistema de contacto mando seis versiones distintas del mismo correo a hostales independientes de Mexico y Colombia. Misma lista, misma ventana de envio, misma oferta. Lo unico que cambia es el texto: una arranca con dinero, otra con la comision de las OTAs, otra con el tiempo que te quita, otra hace una pregunta, otra ofrece una prueba, otra una revision de tarifas.

Esto decia el tablero esta manana, sobre 130 correos entregados:

• prueba — 29 entregados, 12 aperturas, 41.4%
• revision de tarifas — 12 entregados, 3 aperturas, 25.0%
• comision OTA — 17 entregados, 4 aperturas, 23.5%
• tiempo — 23 entregados, 5 aperturas, 21.7%
• pregunta — 24 entregados, 3 aperturas, 12.5%
• dinero — 25 entregados, 2 aperturas, 8.0%

De arriba a abajo, 41.4 contra 8.0: cinco veces y algo. Si alguien te pone esa tabla enfrente, la decision parece tomada de antemano: te quedas con la version de la prueba, borras las otras cinco. No lo hicimos, y de eso es este texto.

Cuenta que es de verdad una apertura

La version ganadora tiene doce aperturas registradas. Separadas por el momento en que ocurrieron respecto de la entrega: cinco cayeron dentro de los dos minutos siguientes, tres traen una hora claramente posterior y cuatro no se pueden emparejar con ninguna entrega.

En esta lista, una apertura registrada dos minutos despues de la entrega no ha sido una persona. Es el servidor que recibe bajando las imagenes del mensaje antes de que nadie toque la bandeja, y un pixel de seguimiento es una imagen. Ya lo vimos del lado de los clics hace dos semanas: catorce clics salidos de tres buzones que nunca abrieron el mensaje.

Las cuatro aperturas sin pareja son un evento de apertura sin entrega a la cual unirlo, asi que no las podemos ubicar en el tiempo. Puede que sean personas reales; no podemos demostrar que alguien leyo el correo en lugar de que un escaner lo toco, asi que no deciden nada.

Quedan tres aperturas de la version ganadora que defenderiamos. Tres. Vuelve a ordenar las seis contando solo aperturas fechadas y posteriores:

• revision de tarifas — 2 de 12, 16.7%
• tiempo — 3 de 23, 13.0%
• comision OTA — 2 de 17, 11.8%
• prueba — 3 de 29, 10.3%
• pregunta — 2 de 24, 8.3%
• dinero — 1 de 25, 4.0%

La version que ganaba por cinco veces quedo cuarta. El primer lugar se lo lleva la que menos volumen tiene, con dos eventos. Entre una tabla y otra no cambio nada de los correos. Cambio una sola decision: cuales eventos cuentan como apertura. Dio la vuelta al orden, y con este volumen lo va a volver a dar la semana que entra, con el criterio que elijas.

El evento con el que se vende no tiene datos

Esta es la parte que nunca entra en la discusion del asunto. En las seis versiones y los 130 correos entregados: cero clics, cero respuestas, una baja de la lista.

Mas alla de la ventana, desde que arranco la campana el 6 de septiembre: 267 correos entregados a 204 propiedades, 42 eventos de apertura, 4 clics, 0 respuestas, 0 clientes. Dia 19 de una meta de 30. Ese es nuestro numero y no es bueno.

O sea que la prueba se califica con aperturas porque las aperturas son lo unico que ha pasado, y la apertura es el unico evento de la cadena que nunca nos ha pagado nada. La metrica que tiene senal y la metrica que tiene sentido no son la misma, y cuando solo tienes una no tienes una prueba. Tienes una costumbre.

Cuanto cuesta una respuesta de verdad

Nuestra meta para esta campana es 3% de respuesta. Toma ese denominador y la cuenta sale corta.

Con 3%, una version con 22 entregados espera 0.66 respuestas: dos tercios de una. No puedes ordenar seis versiones con un numero que redondea a cero en todas. Para creerle a un orden, quieres que el evento que decide ocurra del orden de diez veces por version, para que la diferencia entre versiones sea mayor que la que hace un martes con suerte. Con 3%, diez respuestas por version son unos 330 correos entregados por version.

Seis versiones a 330 son unos 2,000 correos. Enviamos de lunes a viernes con tope de 20 al dia, 100 a la semana en el techo: veinte semanas para terminar una prueba de texto. Dos versiones son 660 correos, unas siete semanas. Bajar de seis a dos no hace la prueba mas fina. Hace que termine mientras la pregunta todavia importa.

La misma cuenta en una propiedad de 45 camas

Piensa en un hostal de 45 camas al 60% de ocupacion con estancia promedio de tres noches: unas 240 llegadas al mes, digamos 700 en un trimestre, la mayoria con un correo que sirve.

Quieres saber si un mensaje previo a la llegada vende mas traslados del aeropuerto. Dos versiones, 350 llegadas cada una, 4% de conversion: unas 14 reservas por version. Esa prueba tiene columna.

Ahora parte el mismo trimestre en seis: 117 llegadas por version, unas 5 reservas cada una. La distancia entre la mejor y la peor se va a ver enorme, igual que se veia enorme nuestro 41.4% contra 8.0%, y van a ser cuatro reservas de ruido. La diferencia entre los dos disenos no es sofisticacion. Es si te enteras o no.

Entonces: si el numero con el que vas a decidir no va a ocurrir al menos diez veces por version dentro de una ventana que puedas esperar, no partas nada. Manda una sola version a todos y gasta el esfuerzo en algo estructural. El precio, el orden de las fotos en la ficha de la OTA, quien esta en la lista.

Que hacemos con un empate

Sin un clic ni una respuesta en ninguna version, nuestro motor de asignacion junto las seis en un solo puntaje y le dio el mismo peso a cada una, asi que el volumen se reparte parejo y ninguna sale favorecida. Un sistema que reporta un empate vale mas que uno que nombra un ganador que no puede ver, porque a ese ganador lo vas a defender un mes.

Tres reglas con las que corremos esto, y sirven igual con correos a huespedes, fotos de la ficha o tarifas:

• Define el evento que decide antes de partir la lista, y que no sea la apertura. Una reserva, una respuesta, un alta pagada. Escribelo antes, porque despues cada tabla te ofrece un ganador distinto.
• Cuenta por persona y por entrega, no por evento. Doce aperturas de un numero desconocido de buzones no son doce lectores, y un evento que no puedes fechar no se le puede atribuir a nada.
• Menos versiones. Dos, no seis. Y cuando dos empatan con volumen real, eso es un hallazgo: el texto no es el cuello de botella. Lo es la lista, la oferta o el canal.

Lo que estamos mirando ahora no es una tasa de apertura. Es la primera respuesta. Hasta que llegue, las seis versiones siguen empatadas y nos vamos a cambiar algo mas grande que una frase.

Si esto suena a tu propiedad, revisa los tres planes de Nightfill y empieza un piloto gratis de 14 días con tus propios datos: ver precios.