Ce mois-ci, Brandwatch a déployé un tout nouveau modèle de sentiment sur plus de 100 millions de sources en ligne (couvertes par Brandwatch Consumer Research) ainsi que sur les applications alimentées par Brandwatch telles que Cision Social Listening et Falcon Listen. 

Ce modèle inédit constitue une mise à niveau importante de l'analyse des sentiments existante de Brandwatch, et permet d'offrir une précision accrue d'environ 18 % en moyenne sur l'ensemble des langues précédemment prises en charge.

Ce nouveau modèle est également multilingue. Cela signifie que :

  • 16 nouvelles langues évaluées sont dorénavant prises en charge, et d'autres sont à venir, portant ainsi à 44 le nombre de langues officiellement prises en charge.
  • Le modèle essaiera également d'attribuer un sentiment aux messages rédigés dans une autre langue (et aux messages dont la langue n'est pas identifiée, comme les posts contenant uniquement des émojis) lorsqu'il est suffisamment sûr de lui.

Le sentiment est l'une des principales métriques sur lesquelles les clients de Brandwatch s'appuient pour effectuer un certain nombre de tâches importantes, telles que :

  • L'évaluation de la santé de la marque (ou Brand health)
  • L'identification des défenseurs ou des détracteurs de marque 
  • La détection des crises émergentes
  • La compréhension des sujets positifs et négatifs liés à la marque ou des conversations sur un sujet donné

J'ai rencontré Colin Sullivan, l'un des Data Scientists à la tête de l'équipe ayant mis au point notre nouveau modèle de sentiment, pour lui demander comment celui-ci fonctionne et en quoi il pourra être utile aux clients de Brandwatch.

Bonjour Colin ! Nous sommes ravis de voir le fruit de ton travail désormais disponible dans le cadre de l'analyse des sentiments de Brandwatch. Avant de parler de ce nouveau modèle de sentiment, parle-nous un peu de toi et de ton parcours.

Merci Nick, nous sommes également très contents des résultats obtenus ! Je suis responsable Data Science et je dirige plusieurs projets chez Brandwatch. J'ai une formation en linguistique et en linguistique informatique. 

La linguistique est avant tout une science sociale qui s'attache à comprendre les modèles et les règles qui régissent le fonctionnement du langage en examinant le contexte théorique, la syntaxe et la sémantique du langage. La linguistique informatique étudie quant à elle la façon dont les ordinateurs peuvent modéliser ces mêmes structures et appliquer ces modèles à des éléments comme le traitement du langage naturel, l'identification des langues et la façon dont les choses sont indexées. Elle est également utilisée pour analyser des éléments tels que le sentiment et les sujets abordés dans de grands volumes de données textuelles.

Cette mise à jour des sentiments repose sur un modèle entièrement nouveau. Pourquoi créer une nouvelle méthode d'analyse des sentiments ?

Pour deux raisons essentielles : 

1. Nous voulions faire un saut vers certaines des méthodes de pointe qui sont en train d'émerger dans le monde de la recherche. Ces dernières années, de nouveaux développements très prometteurs ont vu le jour, et ces derniers peuvent nous aider à obtenir des résultats encore meilleurs.

2. Nous y avons également vu la possibilité de simplifier la façon dont nous traitions le sentiment chez Brandwatch. Nous avions en effet l'habitude de suivre la même procédure pour chaque langue prise en charge : cela impliquait la collecte d'un grand nombre de données d'apprentissage pour chaque langue, leur étiquetage, l'apprentissage de leurs modèles linguistiques, puis la construction d'un modèle d'apprentissage supervisé pour chacune d'entre elles. Avec cette nouvelle formule, nous disposons d'une méthodologie unique qui fonctionne pour plusieurs langues à la fois.

Ce nouveau modèle met à profit l'« apprentissage par transfert » (transfer learning).

En quoi cela consiste-t-il exactement ?Au cours des dernières années, le domaine de l'IA a fait des progrès remarquables grâce à l'apprentissage par transfert, qui consiste essentiellement à former un modèle à une compréhension plus générale, puis à transférer cet apprentissage et à lui demander de l'appliquer à une tâche différente. Le processus est donc très différent de celui consistant à former un modèle destiné à résoudre un problème unique et spécifique, comme c'était le cas pour l'analyse des sentiments.

Notre nouveau modèle a donc d'abord été entraîné à appréhender la manière dont le langage est utilisé, avant d'être orienté vers une tâche telle que l'analyse des sentiments.La première étape est très similaire au fonctionnement de la suggestion automatique du mot suivant. Un modèle doté d'une expérience suffisante du langage utilisé par les humains peut commencer à prédire les mots qui vont suivre si vous lui fournissez du texte. Ensuite, nous lui demandons de « prédire » un sujet qui résume le sens d'une phrase entière ou d'un message posté sur les médias sociaux. Dans ce cas, les sujets sont « positifs », « négatifs » ou « neutres » – le modèle réutilise toutes les informations de la première étape.

C'est, en fait, la façon dont votre cerveau fonctionne lorsque vous écoutez quelqu'un parler. Inconsciemment, vous essayez constamment de prévoir ce que cette personne va dire ensuite afin de mieux l'entendre et la comprendre.

Comment cela aide-t-il Brandwatch à mieux définir le sentiment ?

L'un des principaux avantages de cette nouvelle approche est qu'elle rend le traitement d'un langage complexe ou nuancé plus fiable. Le nouveau modèle est ainsi capable de voir au-delà des fautes d'orthographe ou de l'argot. 

Auparavant, les modèles d'apprentissage supervisé étaient limités à un ensemble défini de modèles connus pendant l'entraînement, ensemble qui était loin de représenter toutes les manières linguistiquement plausibles d'exprimer un concept. Les nouveaux modèles de pointe sont plus à même de réutiliser ce qu'ils savent déjà lorsqu'ils sont confrontés à des modèles inédits ou rares. 

L'approche centrée sur l'apprentissage par transfert signifie que le modèle utilisera ce qu'il sait pour combler les lacunes. Par exemple, celui-ci peut décomposer les mots qu'il ne connaît pas en parties qui pourraient lui donner des indices (tout comme vous le feriez !).

Et cela fonctionne dans presque toutes les langues, car nous ne nous formons pas à une nouvelle langue à chaque fois. Cela signifie également qu'il peut prendre en charge un plus large éventail de dialectes régionaux et de messages au sein desquels quelqu'un passe d'une langue à l'autre.

Voir l'analyse de sentiment améliorée en action

Quels facteurs font qu'un message est qualifié de positif ou de négatif ? Le modèle recherche-t-il les bons ou les mauvais mots ? Les bonnes ou les mauvaises expressions ?

Le modèle prend en compte le contexte du document dans sa totalité. Ce qui compte, c'est l'ordre des mots, pas seulement les mots positifs ou négatifs. Par exemple, si quelque chose n'est « pas bon », la négation est facilement compréhensible. Il comprendra également des éléments tels que les émojis, la syntaxe et la sensibilité à la casse. 

Quand vous regardez les résultats, cela ressemble à une connaissance du « monde réel ». Le modèle peut commencer à ne pas tenir compte des noms utilisés pour des termes qui véhiculent un sentiment dans l'usage courant (par exemple, les Kind bars). S'il a vu suffisamment de cas où la langue est utilisée d'une manière particulière, il sera même capable de voir au-delà de la double négation ou parfois du sarcasme, bien que cela soit plus difficile car il ne dispose pas toujours des connaissances additionnelles nécessaires dans le monde réel. Cela dit, si vous passez un peu de temps sur Twitter, vous verrez que les êtres humains eux-mêmes ne sont pas toujours capables de détecter le sarcasme !

Ce nouveau modèle est multilingue. Comment cela fonctionne-t-il ?

Le pré-entraînement a été effectué avec une énorme quantité de données dans 104 langues. La première étape a consisté à prendre le modèle pré-entraîné et à lui fournir de nombreux autres exemples de textes tirés des médias sociaux. Cette étape est nécessaire pour améliorer sa capacité à modéliser les types de modèles linguistiques qui apparaissent dans les contextes sociaux par rapport à des contextes d'actualité ou plus formels. 

Ensuite, nous avons procédé à une phase de supervision, où nous lui avons donné des données relatives au sentiment et l'avons orienté vers la détection des messages positifs ou négatifs. Nous n'avons utilisé que 12 langues à la fois, mais avons évalué les résultats pour 44 langues et constaté que le modèle avait appris à les traiter avec un niveau de précision très élevé. Le modèle possédant des exemples de sentiments dans suffisamment de langues, il pouvait se focaliser sur ce qui lui était demandé dans d'autres langages en utilisant ce qu'il connaissait déjà.

Nous pouvons maintenant officiellement prendre en charge 44 langues, mais le modèle classera les sentiments dans n'importe quelle langue s'il est suffisamment sûr de lui. À l'avenir, nous serons en mesure d'ajouter la prise en charge officielle d'un plus grand nombre de langues beaucoup plus rapidement qu'auparavant.

Quelle précision offre ce nouveau modèle ? Et comment mesurez-vous cette précision ?

L'analyse des sentiments est par nature une tâche subjective et les gens interprètent différemment la définition de cette tâche. Il a été démontré, par exemple, que deux personnes ne s'accordent sur le sentiment suscité par quelque chose qu'environ 80 % du temps, et ce sur des tweets relativement faciles à évaluer. 

Les clients de Brandwatch peuvent généralement s'attendre à une précision moyenne d'environ 60-75 %, mais cela varie toujours en fonction du type de données examinées. Nous pourrions obtenir une précision bien plus élevée en nous basant uniquement sur un ensemble de critiques de films publié par IMDB, par exemple. Mon équipe est chargée de calculer le sentiment de messages provenant de plus de 100 millions de sources de données, nous essayons donc d'évaluer une grande variété de data sets. (En d'autres termes, nous aimons bien nous compliquer la tâche !).

La façon dont vous procédez à l'évaluation aura un impact considérable sur les résultats. Nous avons pu évaluer nos modèles sur plusieurs jeux de données publics pour lesquels certains des plus grands noms de l'IA et du TAL ont également fourni des prédictions. La comparaison des résultats place systématiquement Brandwatch Consumer Research à la tête de ces entreprises de Data Science ultra respectées.

En tant que Data Scientist, quels conseils donneriez-vous aux personnes qui utilisent l'analyse des sentiments dans leur travail ?

Tout d'abord, je dirais que vous devez définir clairement ce que vous essayez de faire. Souvent, ce que les gens considèrent comme positif ou négatif est déterminé par ce sur quoi ils essaient d'obtenir des insights. 

L'analyse des sentiments est un outil et non une « vérité » unique et incontestable. Pour évaluer la santé de votre marque, vous voudrez décomposer vos données en catégories, publics et sujets afin d'utiliser le sentiment pour identifier ce qui motive exactement l'opinion publique et comment vous pouvez l'améliorer. Si votre objectif est de détecter des crises potentielles, vous devrez vous concentrer davantage sur les tendances changeantes ou sur les pics de données afin de pouvoir agir plus rapidement.

Le sentiment est plus utile en agrégat – c'est-à-dire en observant l'évolution de sa distribution dans le temps. S'il y a des pics et des creux, ceux-ci seront forcément significatifs. Il est toujours important de fixer des points de référence, puis de procéder à un examen plus approfondi lorsque les données s'écartent de la norme. 

Colin, merci d'avoir pris le temps de nous parler et merci à votre équipe d'avoir travaillé dur pour apporter aux clients de Brandwatch ce nouveau développement passionnant de la plateforme !

Si vous souhaitez voir l'analyse des sentiments de Brandwatch en action, cliquez ici pour demander une démonstration. Si vous êtes déjà client de Brandwatch, vous bénéficiez dès aujourd'hui du nouveau modèle de sentiment dans vos projets.