Analytics 2.0

Mucho más que taggear

Analytics 2.0 - Mucho más que taggear

La falta de precisión en los datos de Panel

Trafico campaña MSN vs. comScoreEn un post anterior hablamos sobre la importancia de las fuentes de información y mencionamos que tanto Alexa como comScore generan información basada en paneles de usuarios de internet.

La principal ventaja que ofrece comScore es que los datos surgen de paneles de usuarios que acceden a instalar el software en sus computadoras y brindan sus datos demográficos (sexo, edad, ingresos, etc.). A partir de ellos se realizan proyecciones de los datos al universo de usuarios de Internet efectuando procedimientos estadísticos para corregir los desvíos de la información.

Al tratarse de un panel de usuarios, existen ciertas limitaciones respecto a la precisión de la información, la más conocida es que los sitios con poco trafico no son correctamente medidos a través de un panel porque pocos usuarios en el mismo los visitan.

Analizando la precisión de los datos

Al utilizar un panel como comScore lo deseable es que exista una relación relativamente constante entre los datos reales y la estimación que nos provee. Para comprobarlo utilizamos los datos de fuentes de trafico en un importante sitio de Brasil.

Como podrán ver en los gráficos las estimaciones realizadas por comScore difieren considerablemente de la evolución mensual seguida por las visitas; o sea que para un mes dado el tráfico del sitio puede haber crecido y la estimación de comScore estar señalando una disminución o a la inversa.

Datos UOL

Datos MSN
Observando las líneas de tendencia para Terra vemos que el trafico real de la campaña y la estimación de comScore siguen una trayectoria diferente, lo que indica falta de precisión en la estimación del panel.

Data Terra

Por otra parte los datos de un panel de usarios suelen tener una menor variabilidad – por tratarse de los mismos usuarios – que la totalidad de la población. En nuestro ejemplo los coeficientes de variación (que expresan el ratio entre el desvio estandar y el promedio) del panel de comScore resultan considerablemente menores que los reales.

Datos Terra UOL MSN

Esto nos demuestra una vez más que el problema no se agota con la captura de los datos (Analytics 2.0 – mucho más que taggear) sino que también debemos ocuparnos de la calidad de la información y los métodos que empleamos para producirla.

La importancia de una buena fuente de información

Como venimos diciendo desde hace mucho tiempo, si no estas en condiciones de creer en la información que estas utilizando para tomar desiciones (al menos bajo niveles aceptables de incertidumbre) quiere decir que estas poniendo a tu empresa en una situación innecesaria de riesgo.

Hoy Techcrunch posteó una nota interesante sobre Alexa (tambien hace tiempo hablamos sobre la poca credibilidad de la información presentada por esta fuente). Esta nota comenta que algunas fuentes de información como Comscore tiene algunos problemas o errores en los datos mostrados sobre sitios de bajo trafico, pero al menos muestran datos bastantes precisos en aquellos sitios de mayores dimenciones. Sin embargo Alexa parece que todos los datos que muestra son erroneos sin importar el tamaño del sitio en cuestion.

Información incorrecta de Alexa

Techcrunch muestra diversos ejemplos sobre datos incorrectos en Alexa, pero hay algo que no consideran / comunican, y es el hecho de que Alexa es un panel que muestrea cierto grupo de usuarios de internet que claramente no es representativo del total de la población.  Entonces el problema no es que Alexa tiene inconvenientes para mostrar o procesar sus datos, o aún peor que esté haciendo trampa con la información mostrada. El problema es de base, no están muestreando correctamente.

Pongamoslo de esta forma, si tomamos dos ollas y preparamos sopa en cada una de ellas, podremos decir al probar un poco de una de ellas que el resto tendra un sabor igual o bastante parecido. Ahora lo que no podemos hacer es decir, habiendo probado un poco de una de ellas, que la otra tiene un sabor siquiera parecido. O sea tal vez lo tenga, pero jamás, jamás podremos saberlo si al menos no probamos un poco de esta otra.