Aller au contenu principal

Soutien aux chercheurs

Bibliométrie et impact de la recherche

Les indicateurs bibliométriques

Dans une analyse bibliométrique, il est important de considérer plus d'un indicateur bibliométrique, de comprendre les limites de ces indicateurs et de les remettre en contexte. Ces indices sont influencés entre autres par les sources de données, les outils utilisés pour les générer et les pratiques disciplinaires. Ils ne doivent pas remplacer une évaluation qualitative de la recherche. 

Voici quelques indicateurs bibliométriques qui sont susceptibles d’être utilisés pour mesurer la production scientifique.

Le contenu est largement tiré de l’ouvrage de Sugimoto et Larivière (2018):

Indice-

- Facteur d’impact (Web of Science)

- CiteScore (Scopus)

- SJR : SCImago Journal Rank (Scopus)

Utilisation :

Il s’agit d’un indicateur utilisé au niveau individuel mettant en relation la productivité et l’impact (c’est-à-dire, l’attention accordée) d’un chercheur. On attribue à un individu un indice d’une valeur de h s’il a publié un nombre h d’articles cités au moins un nombre h de fois. Quoique ce soit plus rare, l'indicateur est parfois utilisé au niveau des revues savantes comme c'est le cas sur Google Scholar.

 L'indice h est un indicateur à utiliser avec prudence, compte tenu de ses nombreuses limites.

Limites :

  • Ne prend pas en considération l’attention particulièrement élevée qui aurait pu être accordée à certains articles en comparaison au reste des articles produits.
  • Met l’accent sur la quantité d’articles produits.
  • Est affecté par la longévité de la carrière du chercheur.

Par exemple : un chercheur ayant publié 15 articles cités au moins 15 fois chacun aura un indice h de 15, alors qu’un chercheur ayant publié 2 articles cités 200 fois chacun aura un indice h de 2.

Utilisation :

Calculé annuellement à partir de données tirées de la base de données Web of Science, le facteur d’impact est un indicateur utilisé au niveau des revues savantes. Seules les revues indexées dans Web of Science peuvent obtenir un facteur d'impact. La bibliothèque de l'UQTR n'a pas d'abonnement à Web of Science ni à l'outil permettant de connaitre le facteur d'impact des revues. Cependant, pour vérifier si une revue est indexée dans cette base de données, consultez le Master Journal List.

En théorie, le facteur d'impact indique pour une année donnée le nombre moyen de citations reçues au cours des deux années précédentes par les articles publiés dans une revue.

 Le facteur d'impact est un indicateur à utiliser avec prudence, compte tenu de ses nombreuses limites.

Limites :

  • Inadéquation entre le numérateur et le dénominateur dans le calcul : on prend en compte les citations reçues par tous les types de documents contenus dans la revue (y compris les éditoriaux, les lettres à l’éditeur, etc.) qu’on divise uniquement par la somme des articles de recherche et des articles de synthèse (reviews) publiés.
  • Période trop courte (2 ans) pour brosser un portrait représentatif de l’impact des revues de certaines disciplines. En sciences humaines, les citations ont tendance à s'accumuler sur une plus longue période qu'en sciences de la santé, par exemple. Un facteur d’impact calculé sur 5 ans est parfois utilisé pour pallier cet inconvénient.
  • Comparaison difficile entre les revues de différentes disciplines qui n'ont souvent pas les mêmes pratiques de publication.

Utilisation :

Il s’agit en quelque sorte de la réponse de la base de données Scopus au facteur d’impact de Web of Science. Utilisé également au niveau des revues savantes, le CiteScore se calcule annuellement à partir de données tirées de Scopus. En juin 2020, Elsevier a annoncé des améliorations dans le calcul de cet indicateur. Dans sa mouture actuelle, il prend en compte pour une année donnée, le nombre moyen de citations reçues sur une fenêtre de calcul s'étalant jusqu'à 4 ans, en incluant les données de l'année courante. Contrairement au facteur d’impact, le CiteScore cible uniquement les documents revus par les pairs tant pour le numérateur que le dénominateur, éliminant de ce fait le débalancement fréquemment reproché au facteur d’impact.

Limites :

À l’exception des problèmes corrigés, comme celui ayant trait au numérateur et au dénominateur, les limites associées au CiteScore sont essentiellement similaires à celles du facteur d’impact concernant la disparité entre les disciplines, ainsi que la période couverte pour son calcul, bien que cette dernière soit plus étendue.

Utilisation :

Cet indicateur sert à calculer la renommée d’une revue savante. Il se base sur les données de Scopus. Il accorde un poids différent aux citations reçues sur une période de 3 ans en fonction de la revue d’où provient la référence. Les citations entre deux revues faisant souvent référence l’une à l’autre auront un poids plus important. On suppose ainsi que deux revues se co-citant beaucoup traitent de sujets mutuellement proches; elles sont donc en meilleure posture pour juger de la qualité de leur homologue.

Limites :

  • L’importance accordée à la proximité entre deux revues est parfois remise en question.

Les indicateurs bibliométriques normalisés

Selon le contexte, on peut privilégier des indicateurs normalisés aux indicateurs bien connus, mais controversés, comme le facteur d'impact ou l'indice h. Ceux-ci tentent de corriger les disparités naturellement présentes entre les disciplines ou les domaines de recherche.

Voici deux indicateurs normalisés disponibles dans Scopus, la base de données accessible à la communauté de l'UQTR :

- FWCI : Field-Weighted Citation Impact 

- SNIP : Source Normalized Impact per Paper

Les informations sont tirées de l’ouvrage de Sugimoto et Larivière (2018), du Carrefour bibliométrie du Réseau de l'Université du Québec et de Scopus Libguide : Metrics.

Utilisation :

Cet indicateur normalisé selon les disciplines permet de comparer le nombre de citations obtenues par une publication ou un ensemble de publications, à une moyenne mondiale représentée par une valeur critique de 1. Cette moyenne est celle du nombre de citations d’autres articles similaires de la même discipline et publiés dans la même période.

Autrement dit, une publication ayant un indice FWCI de 2,00 a obtenu deux fois plus de citations que la moyenne mondiale attendue pour une publication dans le même domaine de recherche pour la même période. 

Limites :

  • Moins approprié pour un petit ensemble de publications. 

Utilisation :

Le SNIP mesure l'impact de citation contextuelle d'une revue en fonction de sa discipline. Il divise le nombre de citations réelles d'une revue par le nombre de citations potentielles dans son domaine, c'est-à-dire le nombre moyen de références par document citant cette revue pour les trois années précédentes. Seuls les articles de recherche, les articles de conférences et les articles de synthèse (reviews) sont comptabilisés.

Les données utilisées sont normalisées pour pallier les différences dans les pratiques de citation des disciplines. Autrement dit, une revue dont les articles sont cités au taux moyen des autres revues du même domaine aura un SNIP d'une valeur de 1,0.

Limites :

  • Les revues publiant une proportion importante d'articles de synthèse auront généralement un SNIP plus élevé parce que ce type de publication attire souvent davantage de citations qu’un article.

Pour aller plus loin

Conçu par des bibliothécaires du réseau de l'Université du Québec, le Carrefour bibliométrie comprend une description exhaustive de plusieurs indicateurs bibliométriques.

Voici d'autres lectures complémentaires:

Gingras, Y. (2014). Les dérives de l'évaluation de la recherche : du bon usage de la bibliométrie. Raisons d'agir.

Sugimoto, C. R. et Larivière, V. (2018). Mesurer la science. Presses de l’Université de Montréal.