Arrêtez d’utiliser Google Trends n'importe comment

Cet article a initialement été publié sur Medium, et est reproduit ici avec l'aimable autorisation de l'auteur.

Google Trends est un outil extrêmement intéressant, puisqu'il fournit des données sur l'utilisation de Google en temps réel. Google est devenu la barre de navigation de l'Internet : si vous avez besoin d'une information sur le Championnat d'Europe de football, il n'y a qu'à taper « Euro » dans votre navigateur, et vous obtiendrez immédiatement tous les détails sur les matches disputés jusque-là, ainsi que le calendrier des matches à venir. Google évalue ensuite la popularité de ce sujet, puis en fait un encart dédié incorporé à sa page de recherche, avant de l'inclure dans ses Trends.

Tout cela est très commode. Pourquoi devrions-nous donc arrêter d'utiliser Google Trends ? Eh bien, parce qu'il y a peu de chances que vous l'utilisiez correctement.

Le fait est que personne, ou presque, ne sait effectuer une recherche Google correctement. Cela conduit certes à des situations charmantes, comme le cas de cette vieille dame qui posait toujours des questions extrêmement polies et formelles à son moteur de recherche.

En outre, nous interagissons généralement avec Google en lui posant une question, au lieu d'utiliser des combinaisons de mots-clés. C'est également le cas lorsque nous utilisons Google Trends, et cela peut devenir extrêmement problématique puisque les résultats obtenus sont biaisés en fonction de la formulation utilisée. Voici un exemple fourni par Ben Casselman :

L'exemple de Casselman nous donne un bon aperçu de la façon dont Trends est utilisé d'ordinaire. Une fois que vous avez obtenu le graphe illustré ci-dessous, il y a deux issues possibles. Vous pouvez soit choisir l'hypothèse dite du « connard, » et supposer que la plupart des gens ignoraient encore qui était Mitt Romney quelques heures après l'élection. Ou bien, vous pouvez raisonner un peu plus longtemps et conclure que le pic que l'on voit apparaître sur la capture d'écran se dessine en fonction des habitudes de recherche des individus sur un sujet pertinent en un temps donné. Rétablissons la vérité :

Hélas, nombre de journalistes s'arrêteront à la première hypothèse et supposeront que la plupart des gens sont des imbéciles inconscients et ingrats.

« Si l'on en croit leur activité sur Google hier, les Américains ne savent même pas de qui il s'agit, » écrit Christopher Ingraham pour le Washington Post dans un article intitulé « Si vous n'avez aucune idée de qui Harriet Tubman, vous n'êtes pas seul. »

Vraiment ? Et si, en réalité, ces données Google Trends pouvaient être interprétées comme étant « non significatives » ?

En effet, les résultats d'une recherche Google Trends donnée doivent être rapportés au contexte et au type de données qu'utilisent les autres trends, ainsi qu'à l'intervalle entre la plus petite et la plus grande valeur de la collection de données.

Si l'on fait la même recherche en prenant en compte ces contraintes, voici ce que l'on trouve :

Retenons également que le Washington Post utilise l'expression « un grand nombre d'Américains, » sans honte aucune. Qu'est-ce que cela signifie exactement ? Rappelez-vous, les résultats de recherche de Trends sont relatifs aux résultats d'autres recherches, et n'utilisent donc pas des valeurs absolues. Il aurait été utile de s'en rappeler avant d'affirmer que les Britanniques sont des imbéciles, puisqu'ils tapent « Qu'est-ce que l'UE ? » dans Google quelques heures après la fin du vote pour le référendum.

Le journal note que les recherches portant sur l'Union européenne ont triplé en quelques heures seulement. Mais combien de personnes sont concernées par ces recherches, en réalité ? Sont-ils inscrits sur les listes électorales ? Ont-ils voté Leave, ou Remain ? Trends est incapable de nous fournir ces informations, pourtant essentielles à l'interprétation des résultats. Tout ce que l'on voit, c'est un joli graphe, et un pic. Un pic qui représente très probablement un petit nombre de personnes, qu'il faut rapporter aux autres recherches effectuées dans la même région du monde durant le même intervalle de temps. Ce qui nous donne :

Ce manque de rigueur, de prudence et de bienveillance a conduit de nombreux Européens, dont des journalistes, à insulter les Britanniques. Parce que c'est plus facile que de se poser les bonnes questions, ou de trouver encourageant que les gens cherchent à accroitre leurs connaissances sur l'Union Européenne. Affirmer que « les Britanniques ont googlé frénétiquement 'Qu'est-ce que l'UE ?' quelques heures après le vote » est absolument malhonnête au vu de la qualité et de la précision des données disponibles. Remy Smith souligne que le « pic » correspondait à 1000 personnes environ, pas davantage. Difficile d'interpréter cela comme en phénomène de masse. Le contexte, bon sang !