BIBLIOMÉTRIE

DÉFINITIONS

Selon le Grand dictionnaire terminologique, la bibliométrie se définit comme étant « [un ensemble de] procédés mathématiques et statistiques utilisés pour mesurer les modes de publication et l’utilisation du matériel documentaire » (Office québécois de la langue française, 2001).

La définition d’Yves Gingras, sociologue des sciences et spécialiste de l’évaluation de la recherche, est semblable à cette dernière : « Méthode de recherche qui consiste à utiliser les publications scientifiques et leurs citations comme indicateurs de la production scientifique et de ses usages » (2014, p. 9).

UTILITÉ

Voici quelques utilisations possibles des données bibliométriques :

  • Identifier les revues les plus influentes dans un domaine;
  • Analyser la productivité d’un chercheur, d’un département ou d’une institution de recherche;
  • Mesurer l’impact d’un article, d’un chercheur, d’un département ou d’une institution de recherche;
  • Mesurer la collaboration d’un chercheur, d’un groupe ou d’une institution de recherche;
  • Suivre l’évolution d’un domaine ou d’un sujet de recherche.

(Paul-Hus et Barbosa De Souza, 2015)

INDICATEURS BIBLIOMÉTRIQUES

Impact d'une revue

Facteur d'impact

Le facteur d’impact d’une revue correspond au nombre moyen de citations reçues publiées dans une revue X au cours des deux ou des cinq années suivant sa publication (Larivière, 2018b).

Le facteur d’impact d’une revue publiée en 2016 se calcule de la façon suivante :

facteur d'impact  =
Nombre de citations reçues pour les articles publiés en 2014 - 2015
Nombre d'articles publiés en 2014 - 2015

Outil
  • Journal Citation Reports (Web of Science)
    (La bibliothèque n'est pas abonnée à cette ressource.)
Limites
  • Le facteur d’impact inclut les autocitations à la revue (Larivière, 2018b).
  • Comme les revues scientifiques publient généralement plus rapidement que les revues en sciences sociales (en raison de la temporalité plus longue), les revues scientifiques se retrouvent de fait avec un facteur d’impact plus élevé (Marcoux, 2014, p. 66).
  • Les facteurs d’impacts de différents domaines ne devraient pas être comparés (p. 66).

Source Normalized Impact per Paper (SNIP)

Le SNIP mesure la moyenne des citations des publications d’une revue en se basant sur les citations de Scopus des trois dernières années. Cet indicateur est normalisé par domaine de recherche, ce qui fait en sorte qu’il est plus facilement comparable d’une revue à l’autre. (Bibliothèque – Polytechnique Montréal, 2018 ; Service de la bibliothèque de l’École de technologie supérieure, s. d.a).

Outil

SCImago Journal Rank (SJR)

Le SJR est établi en fonction des données de Scopus. Il vise à calculer l’impact des revues, mais accorde une plus grande valeur aux citations provenant de revues prestigieuses.

Indice h5

L’indice h5 correspond à l’indice h d’une revue calculé à partir des cinq dernières années.

Impact d'un chercheur

Indice h (h index)

L’indice h vise à mesurer à la fois l’impact (nombre de citations reçues) et la productivité (nombre d’articles publiés) d’un chercheur (Larivière, 2018b).

Le calcul de l’indice h se base sur une liste des publications d’un chercheur classées par ordre décroissant de citations. La valeur de h est donc égale au nombre d’articles qui ont reçu X citations ou plus (Bibliothèque du CUSM, 2019).

Dans cet exemple, l’indice h du chercheur est de 6, car 6 de ses articles ont été cités au moins 6 fois. Les articles restants ont été cités 6 fois ou moins.

Articles Citations
1 80
2 72
3 43
4 35
5 19
6 7
7 3
8 1
Outils

Voici des ressources pouvant être utilisées pour calculer l’indice h d’un chercheur :

Limites
  • Les autocitations peuvent affecter l’indice h (Bartneck et Kokkelmans, 2011).
  • Dans son livre Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie, Marcoux critique l’indice h en affirmant qu’il est mal construit et qu’il ne devrait pas être utilisé comme aide à la prise de décisions (2014, p. 63). Il donne ensuite un exemple qui nous offre un regard sur les défauts de l’indice :
    • Comparons deux cas de figure : un jeune chercheur a publié seulement trois articles, mais ceux-ci ont été cités 60 fois chacun (pour une période de temps donnée) ; un second chercheur, du même âge, est plus prolifique et possède à son actif 10 articles, cités 11 fois chacun. Ce second chercheur a donc un indice h de 10, alors que le premier a un indice h de 3 seulement. Peut-on en conclure que le second est trois fois « meilleur » que le premier et devrait donc être embauché ou promu ? Bien sûr que non… (p. 64)

Impact d'un article

Moyenne des citations relatives (MCR)

La moyenne des citations relatives vise à comparer l’impact d’articles provenant de disciplines différentes.

Afin de trouver l’impact d’un article, on divise le nombre de citations reçues pour un article par le nombre moyen de citations reçues pour les articles publiés la même année, et ce, dans la même discipline (Service de la bibliothèque de l’École de technologie supérieure, s. d.).

Impact d'un article  =
Nombre de citations pour un articles
  Moyenne de citations par article dans la discipline  

OUTILS

Scopus

  • Couverture récente, mais inégale avant 1996;
  • Couvre toutes les disciplines;
  • 23 000 revues, 69 millions de documents, 8 millions d’actes de colloques, 150 000 livres.

(Larivière, 2018a)

Limites
  • Meilleure représentation des articles de revues de langue anglaise;
  • Les champs de recherche plus spécialisés ou plus régionaux sont souvent sous représentés.

(Levasseur et Barbosa de Souza, 2016, p. 3)


Google Scholar

  • Couvre tous les domaines de la recherche;
  • Contient des articles scientifiques, des actes de conférence, des thèses, des dissertations, des livres, des chapitres de livres, des rapports, des manuscrits, des entrées encyclopédiques, des bulletins, des publications gouvernementales et des brevets (Vaughan et Shawn, 2008 cité dans De Groote et Raszewski, 2012).
Limites
  • On peut y retrouver des citations en double, notamment en raison de l’inclusion de la préimpression d’un article et de la publication finale de la revue (De Groote et Raszewski, 2012);
  • Comptabilise des citations non scolaires (Harzing et van der Wal, 2008);
  • Aucun contrôle sur la validité des données (Delgado López-Cózar, Robinson-García et Torres-Salinas, 2014).
Publish or Perish
  • Publish or Perish est un logiciel qui analyse les citations savantes en utilisant les données de Google Scholar et de Microsoft Academic Search.
Scholarometer
  • Scholarometer est une extension visant à calculer des données d’impact de citation. Elle fonctionne avec les navigateurs Chrome et Firefox. Un bouton apparait dans le haut de la fenêtre du navigateur lorsque vous visitez des pages d’auteurs sur Google Scholar. (Indiana University, s. d.)

Web of Science

  • La bibliothèque n’est pas abonnée à cette ressource.

LIMITES

Compte tenu des limites des indices bibliométriques, il convient d’être prudent dans leur utilisation. Mettre plusieurs indicateurs en relation et les utiliser en complémentarité avec l’évaluation par les pairs représentent de bonnes pratiques (Service de la bibliothèque de l’École de technologie supérieure, s. d.b).

  • En raison de leur couverture différente, les indices bibliométriques peuvent être différents d’un outil à l’autre (Scopus, Google Scolar, Web of Science, etc.) (De Groote et Raszewski, 2012). Il convient donc d’être critique à leur égard.
  • Les autocitations peuvent être comptabilisées dans le nombre de citations.
  • Un seul article peut générer beaucoup de citations, ce qui peut venir influencer la moyenne d’une revue ou d’un auteur.
  • Des erreurs dans les citations (coquilles dans le nom des revues, homonymie des auteurs, etc.) peuvent altérer les résultats.
  • Un sujet d’un domaine très spécialisé ou un sujet local sera généralement moins cité.
  • En raison d’un biais anglo-américain souvent décrié dans les bases de données Web of Science et Scopus, les articles publiés dans des revues non anglophones sont moins représentés et par conséquent, moins cités.

(Service de la bibliothèque de l’École de technologie supérieure, s. d.b)

MESURES D'IMPACT ALTERNATIVES

Les mesures d’impact alternatives font usage des données du Web social pour quantifier l’influence des chercheurs ou des publications (Bibliothèque de l’Université Laval, s. d.). Un des avantages de ces mesures est que les données des médias sociaux sont accessibles beaucoup plus rapidement que les citations (Thelwall, Haustein, Larivière et Sugimoto, 2013). Les mesures d’impact alternatives devraient toutefois être utilisées en complémentarité aux indicateurs bibliométriques traditionnels (Service de la bibliothèque de l’École de technologie supérieure, s. d.c).

Indicateurs

  • Nombre de partages dans les réseaux sociaux (Twitter, Facebook, LinkedIn, etc.);
  • Nombre de téléchargements (Mendeley, Delicious, CrossRef, etc.);
  • Nombre de mentions de l’article ou de l’auteur (Twitter, Facebook, etc.).

(Service de la bibliothèque de l’École de technologie supérieure, s. d.c)

Outils

Voici des ressources pouvant vous aider à mesurer les impacts alternatifs :

SERVICES DE LA BIBLIOTHÈQUE

La bibliothèque peut répondre à vos questions quant à la bibliométrie et peut également, à la demande, faire des portraits bibliométriques pour les chercheurs ainsi que pour les départements.

LISTE DE RÉFÉRENCES

Bartneck, C. et Kekkelmans, S. (2011). Detecting h-index manipulation through self-citation analysis. Scientometrics, 87(1), 85-98. https://doi.org10.1007/s11192-010-0306-5

Bibliothèque de l’Université Laval. (s. d.). Bibliométrie et impact de la recherche – Altmetrics. Repéré à https://www.bibl.ulaval.ca/services/bibliometrie/altmetrics

Bibliothèque du CUSM. (2019). est votre impact ? En savoir plus sur l’indice h. Repéré à http://www.bibliothequescusm.ca/formations-et-conseils/guides-et-tutoriels/quel-est-votre-impact-en-savoir-plus-sur-lindice-h/

Bibliothèque – Polytechnique Montréal. (2018). Mise en valeur de la recherche : impact des revues. Repéré à https://guides.biblio.polymtl.ca/mise_en_valeur_de_la_recherche/impact_revues

De Groote, S. L. et Raszewski, R. (2012). Coverage of Google Scholar, Scopus, and Web of Science: A case study of the h-index in nursing. Nursing Outlook, 60(6), 391-400. https://doi.org/10.1016/j.outlook.2012.04.007

Delgado López-Cózar, E., Robinson-García, N. et Torres-Salinas, D. (2014). The Google scholar experiment: How to index false papers and manipulate bibliometric indicators. Journal of the Association for Information Science and Technology, 65(3), 446-454. https://doi.org/10.1002/asi.23056

Gingras, Y. (2014). Les dérives de l’évaluation de la recherche : du bon usage de la bibliométrie. Paris, France : Raison d’agir.

Harzing, A.-W. et van der Wal, R. (2009). A Google Scholar h-index for journals: An alternative metric to measure journal impact in economics and business. Journal of the American Society for Information Science and Technology, 60(1), 41-46. https://doi.org.10.1002/asi.20953

Indiana University. (s. d.). Scholarometer. Repéré à https://scholarometer.indiana.edu/#about

Larivière, V. (Automne 2018a). Séance 5. [Présentation PowerPoint]. Dans SCI6304 : Bibliométrie et communication savante. Montréal : Université de Montréal, Sciences de l'information. Repéré à http://cours.ebsi.umontreal.ca/sci6304/

Larivière, V. (Automne 2018b). Séance 6. [Présentation PowerPoint]. Dans SCI6304 : Bibliométrie et communication savante. Montréal : Université de Montréal, Sciences de l’information. Repéré à http://cours.ebsi.umontreal.ca/sci6304/

Levasseur, D. et Barbosa de Souza, H. (2016). Du bon usage des indicateurs bibliométriques à l’ÉTS [PDF]. Repéré à https://www.etsmtl.ca/getattachment/Bibliotheque/Services/Pour-la-recherche/Bibliometrie/ETS---Lignes_directrices_bibliometrie_2_mai_2016.pdf

Office québécois de la langue française. (2001). Bibliométrie. Repéré à http://www.granddictionnaire.com/ficheOqlf.aspx?Id_Fiche=8368932

Paul-Hus, A. et Barbosa De Souza, H. (2015, 14 avril). Analyser et évaluer la recherche : la bibliométrie et ses effets pervers [Billet de blogue]. Repéré à https://substance.etsmtl.ca/analyser-et-evaluer-la-recherche-la-bibliometrie-et-ses-effets-pervers

Service de la bibliothèque de l’École de technologie supérieure. (s. d.c). Altmetrics. Repéré à https://sites.google.com/a/etsmtl.net/bibliometrie/altmetrics

Service de la bibliothèque de l’École de technologie supérieure. (s. d.a). Indicateurs bibliométriques. Repéré à https://sites.google.com/a/etsmtl.net/bibliometrie/indicateurs-bibliometriques

Service de la bibliothèque de l’École de technologie supérieure. (s. d.b). Les limites. Repéré à https://sites.google.com/a/etsmtl.net/bibliometrie/limites

Thelwall, M., Haustein, S., Larivière, V. et Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS one, 8(5), e64841. https://doi.org/10.1371/journal.pone.0064841

AUTRES RESSOURCES INTÉRESSANTES

Atelier en ligne sur la bibliométrie

Archambault, É., Vignola-Gagné, É., Côté, G., Larivière, V. et Gingrasb, Y. (2006). Benchmarking scientific output in the social sciences and humanities: The limits of existing databases. Scientometrics, 68(3), 329-342. https://doi.org/10.1007/s11192-006-0115-z

Callaway, E. (2016). Beat it, impact factor! Publishing elite turns against controversial metric. Nature, 535(7611), 201-211. https//doi.org/10.1038/nature.2016.20224

Conseil des académies canadiennes. (2012). Éclairer les choix en matière de recherche : indicateurs et décisions [PDF]. Repéré à https://sciencepourlepublic.ca/wp-content/uploads/2018/10/scienceperformance_fullreport_fr_web.pdf

Costas, R. et Bordons, M. (2007). The h-index: Advantages, limitations and its relation with other bibliometric indicators at the micro level. Journal of Informetrics, 1(3), 193-203. https://doi.org/10.1016/j.joi.2007.02.001

Coutrot, L. (2008). Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique. Bulletin de méthodologie sociologique, (100), 45-50. Repéré à https://journals.openedition.org/bms/3353

Matzkin, A. (2009). L’évaluation en sciences exactes : quand la quantité tue la qualité. Cités, 37(1), 43-49. https//doi.org/10.3917/cite.037.0043

Gingras, Y. (2008). La Fièvre de l’évaluation de la recherche : du mauvais usage de faux indicateurs. Bulletin de méthodologie sociologique, 100(1), 41-44. https//doi.org/10.1177/075910630810000107

Rose, B. (2014). L’évaluation des universités, une « farce »? Le Devoir. Repéré à https://www.ledevoir.com/societe/education/398455/l-evaluation-des-universites-une-farce

PERSONNES-RESSOURCES

Marie-Marcelle Dubuc
Bibliothécaire
Mélissa Marcil-Bédard
Bibliothécaire

2022 © Bibliothèque Cégep A-T et UQAT