Este mes, Brandwatch ha implementado un nuevo modelo de sentimiento en las más de 100 millones de fuentes de datos que rastrean la plataforma Brandwatch Consumer Research y las aplicaciones impulsadas por Brandwatch, como Cision Social Listening y Falcon Listen.
Esta actualización supone una gran mejora del análisis de sentimiento utilizado hasta ahora por Brandwatch, con un 18% más de precisión de media en los idiomas que se han monitorizado hasta ahora.
Este nuevo modelo también es multilingüe:
- Se han incorporado 16 nuevos idiomas evaluados, a los que se añadirán otros (lo que eleva a 44 el total de idiomas admitidos oficialmente).
- El modelo también tratará de asignar un sentimiento a las publicaciones realizadas en otros idiomas (y a las que no tengan un idioma identificado, como las que solo contengan emojis), cuando exista una confianza suficiente.
El sentimiento es uno de los indicadores clave en los que confían los clientes de Brandwatch para desempeñar tareas importantes como:
- Evaluar la salud de la marca.
- Identificar defensores o detractores del negocio.
- Detectar crisis emergentes.
- Entender los temas positivos y negativos relacionados con la marca.
Me reuní con Colin Sullivan, uno de los científicos de datos que dirige el equipo que desarrolló nuestro nuevo modelo de sentimiento, para preguntarle cómo funciona y cómo beneficiará a los clientes de Brandwatch.
Hola, Colin. Estamos entusiasmados de poder ver los frutos de tu trabajo en el análisis de sentimiento de Brandwatch. Antes de hablar de este nuevo modelo de sentimiento, cuéntanos un poco sobre ti y tu trayectoria.
Gracias, Nick. Nosotros estamos igual de contentos. Trabajo como Data Science Manager en Brandwatch, donde dirijo varios proyectos, y me formé en Lingüística Computacional.
La Lingüística es esencialmente una ciencia social que se ocupa de estudiar los patrones y las reglas que rigen el funcionamiento del lenguaje analizando su base teórica, sintaxis y semántica.
La Lingüística Computacional es el estudio de cómo los ordenadores pueden modelar estas mismas estructuras y aplicar estos modelos a ámbitos como el procesamiento del lenguaje natural, la identificación del lenguaje y la indexación.
También se utiliza para analizar el sentimiento y los temas en grandes volúmenes de datos textuales.
Esta actualización utiliza un modelo de sentimiento completamente nuevo. ¿Por qué era necesario desarrollar una nueva forma de analizar el sentimiento?
Por dos motivos clave.
1. Hemos querido incorporar algunos de los métodos más avanzados que están surgiendo en el mundo de la investigación. En los últimos años, se han producido novedades realmente interesantes que pueden ayudarnos a conseguir resultados aún mejores.
2. También vimos la oportunidad de simplificar la forma en que analizábamos el sentimiento en Brandwatch. Solíamos hacer el mismo procedimiento para cada uno de los idiomas con los que trabajamos, lo que implicaba recopilar un montón de datos de entrenamiento para cada idioma, etiquetarlos, aprender sobre sus patrones lingüísticos y, por último, construir un modelo de aprendizaje supervisado para cada uno. El cambio de enfoque nos permite tener una sola metodología que funciona para muchos idiomas a la vez.
Este nuevo modelo utiliza el "aprendizaje por transferencia'. ¿Qué es exactamente?
En los últimos años, el campo de la inteligencia artificial ha logrados avances significativos en el aprendizaje por transferencia, que básicamente consiste en entrenar un modelo para tener una comprensión más general y luego transferir ese aprendizaje y pedirle que lo aplique a una tarea diferente.
Es muy distinto a entrenar un modelo solo para resolver un problema único y específico, que es como solíamos hacer el análisis de sentimiento.
En primer lugar, hemos entrenado nuestro nuevo modelo para que tenga una idea general de cómo se utiliza el lenguaje. Después, lo hemos preparado para una tarea como el análisis de sentimiento.
El primer paso es muy parecido a cómo funciona la sugerencia automática de palabras. Un modelo con suficiente experiencia en el uso del lenguaje humano puede empezar a predecir cuáles serán las siguientes palabras si se le da un texto.
A continuación, le pedimos que "prediga" un tema que encierre el significado de una frase completa o de una publicación en las redes sociales; en este caso, los temas son "positivos", "negativos" o "neutros": reutiliza toda la información adquirida desde el primer paso.
Así es como funciona el cerebro cuando escuchamos hablar a alguien. Inconscientemente, siempre estamos tratando de predecir lo que va a decir a continuación para poder escucharle y entenderle mejor.
¿Cómo ayuda esto a Brandwatch a definir el sentimiento mejor que antes?
Una de las principales ventajas de este nuevo enfoque es que el modelo alcanza una mayor fiabilidad cuando el lenguaje es más complejo o tiene más matices. El nuevo modelo puede ver más allá de las faltas de ortografía o la jerga.
Anteriormente, los modelos de aprendizaje supervisado se limitaban a un conjunto fijo de patrones conocidos durante el entrenamiento que no llegaban a capturar de manera exhaustiva todas las formas lingüísticamente posibles de expresar un concepto.
Los nuevos modelos de última generación están mejor capacitados para reutilizar lo que ya saben cuándo se encuentran con patrones nuevos o peculiares.
En el enfoque del aprendizaje por transferencia, el modelo utilizará lo que sabe para suplir las deficiencias. Por ejemplo, puede dividir las palabras que no conoce en partes que puedan darle pistas (¡como hacemos nosotros!).
Y funciona en casi todos los idiomas, porque no entrenamos el modelo para un nuevo idioma cada vez. Esto también nos permite manejar una gama más amplia de dialectos regionales y mensajes en los que se cambia de idioma.
¿Qué determina que una publicación se califique como positiva o negativa? ¿Busca el modelo palabras o frases "buenas" o "malas"?
El modelo tiene en cuenta el contexto completo del documento. Lo que importa es el orden de las palabras, no solo sin son positivas o negativas. Por ejemplo, si algo "no es bueno", entiende la negación fácilmente. También entiende aspectos como los emojis, la sintaxis y la distinción entre mayúsculas y minúsculas.
Los resultados parecen conocimiento del mundo real. Puede empezar a hacer caso omiso de nombres de marca que contienen términos que, en el uso habitual, transmiten un sentimiento (p. ej., las barritas Kind).
Si ha visto suficientes ejemplos de cómo se utiliza el lenguaje de una forma determinada, incluso será capaz de ver más allá de las dobles negaciones o del sarcasmo, aunque esto es más difícil, ya que no siempre dispone del conocimiento del mundo real necesario.
Pero se trata de algo normal. Basta con dejarse caer por Twitter para ver que, incluso las personas, tenemos problemas para identificar el sarcasmo.
Este nuevo modelo es multilingüe, ¿cómo funciona?
El preentrenamiento se ha realizado con una enorme cantidad de datos en 104 idiomas. El primer paso consistió en tomar el modelo preentrenado y alimentarlo con muchos más ejemplos de texto extraídos de las redes sociales.
Este paso es necesario para mejorar su capacidad de modelar los tipos de patrones lingüísticos que aparecen en las redes sociales, en contraposición a los identificados en noticias estándar o contextos formales.
A continuación, realizamos el paso supervisado, en el que le transferimos datos de sentimiento y le preparamos para detectar publicaciones positivas o negativas.
Utilizamos solo 12 idiomas a la vez, pero evaluamos los resultados en 44 idiomas y vimos que el modelo había aprendido a manejarlos con un elevado nivel de precisión. Como el modelo tenía ejemplos de sentimiento en suficientes idiomas, podía centrarse en lo que se le pedía en otros utilizando los conocimientos que ya tenía.
Ahora cubrimos oficialmente 44 idiomas, pero el modelo puede identificar el sentimiento en cualquier idioma si tiene la confianza suficiente. En el futuro podremos incorporar nuevos idiomas mucho más rápido que antes.
¿Qué nivel de precisión tiene este nuevo modelo? ¿Y cómo se mide?
El sentimiento es inherentemente una tarea subjetiva y las personas interpretamos la definición de esta tarea de forma diferente. Así, por ejemplo, hemos observado que dos personas solo coinciden en el sentimiento de algo aproximadamente el 80% de las veces, y esto en tuits que son relativamente fáciles de analizar.
Por lo general, los clientes de Brandwatch obtendrán una precisión media del 60 o 75%, pero este porcentaje variará según el tipo de datos que se analicen. La precisión sería mucho mayor si, por ejemplo, nos limitáramos a evaluar un conjunto de reseñas de películas de IMDB.
Mi equipo se encarga de identificar el sentimiento de las publicaciones a partir de más de 100 millones de fuentes de datos, por lo que tratamos de utilizar una amplia variedad de conjuntos de datos en el análisis. (En otras palabras, intentamos ponérnoslo difícil).
La forma de evaluar tiene un gran impacto en los resultados. Hemos podido comparar nuestros modelos con varios conjuntos de datos públicos para los que también han proporcionado predicciones algunos referentes en IA y PNL.
En esta comparativa de rendimiento general, Brandwatch Consumer Research es en todos los casos superior a estas respetadas empresas de ciencia de datos.
Como científico de datos, ¿qué consejos darías a quienes utilizan el análisis de sentimiento en su trabajo?
En primer lugar, les diría que se aseguren de definir claramente lo que quieren hacer. Lo que consideramos positivo o negativo está supeditado principalmente a aquello de lo que queremos obtener insights.
El análisis de sentimiento es una herramienta más que una "verdad" única e indiscutible. En las evaluaciones de salud de la marca, conviene desglosar los datos en categorías, audiencias y temas para que el sentimiento permita identificar exactamente qué determina la opinión pública y cómo se puede mejorar.
En la predicción de posibles crisis, hay que centrarse más en las tendencias cambiantes o en los picos de los datos para poder actuar con mayor rapidez.
El sentimiento resulta más útil en su conjunto: cómo cambia a lo largo del tiempo. Los picos y valles son significativos. Es importante establecer puntos de referencia e investigar más a fondo cuando los datos se desvían de la norma.
Colin, gracias por prestarte a hablar con nosotros y por el duro trabajo de tu equipo para ofrecer a los clientes de Brandwatch esta nueva y emocionante aportación a la plataforma.
Si quieres ver el análisis de sentimiento de Brandwatch en acción, haz clic aquí para solicitar una demostración.
Si eres cliente de Brandwatch, ya puedes disfrutar del nuevo modelo de sentimiento en tus proyectos.
