Portée du rôle de peer reviewer

Question

view on stackexchange narkive permalink

En tant que jeune universitaire, j'ai souvent du mal à savoir dans quelle mesure je devrais critiquer certains éléments des articles que j'évalue. Je peux formuler une hiérarchie approximative entre les préoccupations majeures (choses qui doivent être modifiées ou qui ne devraient pas être publiées) et les préoccupations relativement mineures (les choses qui, je pense, amélioreraient le manuscrit, mais ne sont pas assez substantielles pour déterminer si l'article est publiable La question ici concerne ce dernier, en substance je ne sais pas où devrait se situer la limite du caractère raisonnable pour des problèmes mineurs.

Pour un exemple, étant curmudgeonly, je dirais que les mauvais graphiques sont la norme plutôt que l'exception dans mon domaine, même si elles ne sont pas souvent si mauvaises je ne peux pas comprendre ce que l'auteur essaie de dire. Les critiques mineures des graphiques sont-elles appropriées (par exemple, votre quadrillage est très intrusif, le rapport hauteur / largeur de votre graphique n'est pas approprié, vos couleurs / motifs sont difficiles à distinguer, vous devez utiliser un diagramme à points au lieu d'un graphique à barres empilées, etc.) Souvent, mes améliorations suggérées seraient quelque peu arbitraires, alors j'hésite souvent à donner de tels conseils.

Y a-t-il des conseils pour guider le rôle du pair-réviseur? Une autre question secondaire aussi, la portée change-t-elle si je fais cela pour un collègue par rapport à un réviseur anonyme pour une revue?

Answer 1

view on stackexchange narkive permalink

Je pense que tout ce que vous demandez est dans le cadre du rôle du critique. De manière générale, je divise mon avis en trois sections:

Résumé : un résumé et une critique de forme libre. Ici, je communique ce que je pense que «l'essentiel» de l'article, ses forces, et je propose quelques faiblesses qui pourraient exister dans l'article dans son ensemble. Par exemple, si je pense que les auteurs ont été un peu trop timides en ne proposant pas d'interprétation des données, ou s'ils ont manqué ou passé sous silence un point majeur.

Principales critiques : Ce sont des choses qui doivent être corrigées pour que je le considère comme un article publiable, et si j'ai la chance de revoir les révisions (certaines revues le font), les choses que je m'attends à voir changer , ou avoir très de bons arguments pour expliquer pourquoi ils ne le sont pas. Les éléments de cette catégorie incluent:

• Méthodes défectueuses ou inappropriées
• Grands sauts intuitifs qui ne sont pas pris en charge par les données ou l'analyse
• Problèmes de conception de l'étude qui nécessitent une attention
• Principaux échecs d'interprétation
• Problèmes spécifiques à la revue, comme le fait de ne pas rapporter correctement votre protocole aux normes établies pour un essai clinique, ou l'utilisation inappropriée des valeurs p dans certains revues.

Critiques mineures : ce sont toutes des choses qui sont essentiellement "Le conseil de quelqu'un qui lit votre brouillon avec un œil critique". Surtout, ce sont des choses où, s'ils réussissaient tous, alors que je serais peut-être ennuyé, je ne serais pas contrarié que le journal atteigne la presse. Cela inclut des éléments tels que des conseils sur les graphiques (ma bête noire est des graphiques inintelligibles une fois imprimés), des citations manquantes, etc. déplacer ma décision sur le papier d'une manière ou d'une autre, à moins qu'il y en ait beaucoup .

De temps en temps, je mets dans une ou deux petites notes d'édition de copie si quelque chose me saute aux yeux (assurer vs assurer vs assurer, etc.)

La coupure que j'utilise est "Will cela me dérange quand je le vois en version imprimée, et est-ce que je penserai moins aux auteurs qui l'ont produit? " Pour utiliser votre exemple de mauvais graphiques, oui, cela m'ennuierait, et il en résulterait une conclusion moins utilisable que celle avec les graphiques appropriés - tout comme le langage déformé dans la section Résultats pourrait. Si ses trucs mineurs, comme une tournure de phrase que je n'aurais pas utilisée, ou un léger penchant pour les phrases qui se déchaînent? Cela tombe sous le radar.

En ce qui concerne les amis par rapport aux critiques anonymes, je pense que la portée change légèrement. Pour un ami, vous les aidez à peaufiner un article - je pense que beaucoup d'autres choses relèvent de ce parapluie, y compris des choses comme "Ce n'est vraiment pas à quoi sert un point-virgule" ou jouer avec les paramètres graphiques d'un tracé. Pour un critique, vous êtes l'un des derniers gardiens avant que cela ne se produise - mais vous n'êtes pas un éditeur. Vous devez vous concentrer sur la recherche et la présentation appropriée de celle-ci, à moins que les erreurs ne soient si graves qu'elles en gênent l'une.

Dans les deux cas, vous devez être poli.

Answer 2

view on stackexchange narkive permalink

Veuillez consulter ma réponse à une question similaire sur le site de l'informatique théorique SE.

À la suggestion de @ David, je copie- coller ma réponse ici, mais gardez à l'esprit que la question est légèrement différente, et ma réponse vise l'informatique théorique. Les questions en gras sont citées du message original. Le point 5 est probablement le plus pertinent pour cette question.

Version courte: Soyez respectueux, mais brutalement honnête.

---

1. Quels sont les principaux critères pour déterminer la signification des résultats d'un article? À votre connaissance, l'article apporte-t-il une contribution significative, bien présentée et correcte à l'état de l'art? Si l'article ne répond pas à l'un des trois critères, il est juste de le rejeter pour cette seule raison, indépendamment des deux autres.

2. Quels sont les principaux éléments d'un rapport d'arbitrage, et quelles parties sont les plus importantes? Voici ce que je pense qu'un rapport devrait contenir. Tout doit être visible pour l'auteur, sauf éventuellement pour les accusations graves de faute.

   a. Un bref résumé de l'article, pour aider l'éditeur à juger de la qualité des résultats et pour aider à convaincre à la fois l'auteur et l'éditeur que vous avez réellement lu et compris l'article. Placez le résultat dans son contexte plus large. Incluez un historique des versions antérieures, même si les auteurs l'incluent dans la soumission. Soyez respectueux, mais brutalement honnête.

   b. Une discussion sur les forces et les faiblesses de l'article, en termes d'exactitude, de nouveauté, de clarté, d'importance, de généralité, d'impact potentiel, d'élégance, de profondeur technique, de robustesse, etc. Si vous soupçonnez un comportement contraire à l'éthique (plagiat, soumission parallèle, données cuites) , décrivez vos soupçons. Soyez respectueux, mais brutalement honnête.

   c. Une recommandation à l'éditeur pour une action ultérieure - accepter, accepter avec une révision mineure, demander un deuxième tour de révision ou rejeter catégoriquement. Gardez à l'esprit que vous faites une recommandation, pas une décision; si vous ne pouvez pas vous décider, dites-le simplement. Soyez respectueux, mais brutalement honnête.

   d. Commentaires plus détaillés à l'auteur - justification plus détaillée de votre recommandation, demandes de clarification dans la version finale, références manquantes, bogues dans les preuves, simplifications, généralisations, fautes de frappe, etc. Soyez respectueux, mais brutalement honnête.

3. En quoi l'évaluation des conférences diffère-t-elle de celle des revues? Les rapports de conférence devraient être plus courts; les comités de programme ont des centaines d'articles à examiner à la fois. La question de savoir s'il doit y avoir une différence entre les articles de conférence et les articles de revue dépend de la revue (et indirectement, de la communauté). La plupart des revues d'informatique théorique n'insistent pas sur une différence significative; il est assez courant que les versions de conférence et de revue d'un article théorique soient essentiellement identiques. En cas de doute, demandez à l'éditeur!

4. Et si je ne comprends pas l'article? ...la preuve? (Est-ce de ma faute ou de la leur?) Si vous ne comprenez toujours pas l'article après avoir fait un effort de bonne foi, c'est la faute de l'auteur, ou peut-être de l'éditeur, mais certainement pas le tiens. La responsabilité première de l'auteur est de communiquer efficacement son résultat à son public, et un bon rédacteur en chef ne vous enverra un article à arbitrer que s'il pense que vous êtes un bon représentant du public visé par l'article. Mais vous devez faire un effort de bonne foi; ne vous attendez pas à tout comprendre immédiatement (quoi que ce soit?) dès votre première lecture.

5. Et les fautes typographiques / grammaticales? S'il y a beaucoup d'erreurs, ne lisez même pas l'article; recommandez simplement le rejet au motif que l'article n'est pas rédigé de manière professionnelle. Sinon, si vous voulez vraiment être minutieux, incluez une liste représentative d'erreurs de grammaire, d'orthographe et de ponctuation, mais ne vous efforcez pas de trouver le dernier bogue. Soyez respectueux, mais brutalement honnête.

6. Combien de temps dois-je consacrer à un rapport? Attendez-vous à consacrer environ une heure par page, principalement à l'internalisation les résultats et les techniques de l'article. Soyez agréablement surpris quand cela ne prend pas trop de temps. (Si cela prend beaucoup moins de temps que cela, soit le papier est soit extrêmement élégant et bien écrit, vous connaissez extrêmement bien la zone, soit le papier est techniquement peu profond. Ne confondez pas ces trois possibilités.)

7. Combien de rapports par an dois-je rédiger? Vous devez rédiger au moins autant de rapports d'arbitres que les autres en rédigent pour vous. Si cela prend plus de temps que d'écrire vos propres articles, vous ne passez pas assez de temps sur vos propres articles.

Answer 3

view on stackexchange narkive permalink

éditeur de PLoS Computational Biology P.E. Bourne a écrit une série d’articles "Dix règles simples à…" très décents. Il n’existe pas de guide détaillé pour être un bon réviseur, mais Dix règles simples pour les réviseurs est certainement un bon point de départ. Pour résumer:

1. N'acceptez pas une affectation de révision à moins que vous ne puissiez accomplir la tâche dans le délai requis - Apprenez à dire non

2. Évitez les conflits d'intérêts

3. Rédigez des avis dont vous seriez satisfait en tant qu'auteur

4. En tant que réviseur, vous en faites partie du processus de rédaction

5. Soyez sûr de profiter et d'apprendre du processus de révision

6. Développer une méthode de révision qui fonctionne pour vous

7. Passez votre temps précieux sur des articles dignes d'une bonne critique

8. Conservez l'anonymat du processus de révision si le Le journal l'exige

9. Écrivez clairement, succinctement et sur un ton neutre, mais soyez décisif

10. Utilisez le " Commentaires aux rédacteurs »

J'ajouterais: lisez attentivement les« instructions aux auteurs »et les« instructions aux relecteurs »de la revue pour laquelle vous évaluez, si vous ne l'êtes pas déjà très familiers avec eux.

Answer 4

view on stackexchange narkive permalink

Il y a certaines choses que je recherche lorsque je révise des articles qui sont des "stoppeurs", c'est-à-dire que si j'en trouve un, je recommande généralement de le rejeter.

• Les choses qui ne correspondent pas , par exemple des fractions qui ne totalisent pas 1, des améliorations de performances déraisonnables telles que des ordres de grandeur lorsque la méthode proposée permettrait d'économiser 50% du travail dans le meilleur des cas.
• Omissions majeures, c'est-à-dire quelque chose qui serait nécessaire pour reproduire les résultats / implémenter la méthode n'est pas décrit de manière adéquate.
• Des déclarations fausses ou injustifiées.

Les choses qui ne rentrent pas dans cette catégorie (par exemple, les graphiques qui sont difficiles à lire) ne sont généralement pas une raison pour moi de recommander le rejet, à moins que cela ne se produise plusieurs fois dans le document. Il en va de même pour une mauvaise orthographe / grammaire.

Je soulignerais toujours des choses comme vous mentionnez à titre d'exemple (une chose particulière que je n'aime pas, ce sont les graphiques avec différentes échelles côte à côte pour comparer deux approches) si vous pensez que les changer améliorerait le papier. En fin de compte, tout est subjectif et peut sembler arbitraire.

J'utiliserais la même diligence, que je cherche quelque chose pour un collègue ou que je passe en revue pour une conférence / un journal, car même dans le premier cas, l'article sera vraisemblablement être soumis quelque part où il sera examiné par les pairs.

En résumé, je pense qu'il doit y avoir un certain nombre de préoccupations mineures tout au long du document pour recommander son rejet. Un ou deux graphiques qui semblent étranges ne seraient pas pour moi une raison de le faire, à moins bien sûr qu'il n'y ait d'autres problèmes plus graves.

Answer 5

view on stackexchange narkive permalink

Voici la liste de contrôle approximative que j'utilise pour l'arbitrage. Je travaille en mathématiques, donc il faudra peut-être des ajustements pour d'autres domaines. Quand j'écris une critique, j'imagine que c'est pour mon propre article, et j'essaye d'inclure les choses que j'aimerais qu'un critique inclue pour moi.

1. Le papier est-il correct? Des erreurs triviales peuvent être corrigées lors d'une nouvelle soumission, bien sûr. Je n'ai pas encore reçu d'article dans lequel j'ai trouvé une erreur grave.

   1. Une partie de l'exactitude est la clarté. Je considère le lectorat moyen de la revue (dans la mesure où je peux), et tous les aspects de l'article qui ne seraient pas clairs pour eux peuvent être soulevés dans le rapport. Il y a bien sûr une différence entre le peu de clarté et le style d'écriture. Mais les articles devraient utiliser une terminologie standard lorsqu'elle existe, et les preuves devraient être rédigées d'une manière qui ne soit pas trop difficile à suivre. Parfois, un arbitre peut suggérer une preuve plus simplifiée, ce qui est très bien.

   2. Je garde une liste courante des fautes de frappe, des erreurs de style et d'autres trivialités, que je liste au bas du rapport avec un minimum de commentaires.

   3. Je ne vérifie pas l'exactitude de toutes les données bibliographiques, mais je me réfère souvent à une ou plusieurs références lors de la lecture de l'article. Si je remarque des erreurs dans la bibliographie, je les note dans le rapport.

2. Le document est-il complet?

   1. Y en a-t-il des lacunes évidentes dans la recherche? Par exemple, si un théorème a une hypothèse supplémentaire étrange, l'auteur devrait aborder la nécessité de cette hypothèse, ou envisager de l'énoncer comme une question. Personne d'autre ne pourra publier un article pour combler des lacunes mineures, il est donc important que l'auteur soit suffisamment complet dans l'article original, pour le bien de la littérature dans son ensemble.

   2. Y a-t-il des références supplémentaires à citer? Si je connais des recherches supplémentaires que l'auteur n'a pas mentionnées, je peux les soulever dans le rapport. Je crois que c'est l'un des rôles les plus importants du critique, car aucun auteur n'est au courant de l'ensemble de la littérature de recherche.

3. L'article correspond-il au journal auquel il a été soumis? J'ai une idée générale des différences entre les journaux de ma région. La plupart des revues ont également un énoncé de la portée et de l'objectif sur leur site Web. Pour certaines revues, je pense que tous les articles de qualité professionnelle sur le sujet font partie du champ d'application de la revue. Mais pour les revues «de haut niveau», l'article doit avoir des résultats suffisants (et peut-être une densité de résultats suffisante) pour s'adapter.

   1. Le degré d'exhaustivité (élément 2) peut être important ici. Le rédacteur en chef prendra la décision finale, bien sûr, mais il n'est pas inapproprié pour le réviseur d'indiquer s'il pense que l'article est correct, mais pas adapté à la revue à laquelle il est soumis.

   2. S'il est clair qu'un article ne convient pas, je peux rédiger un rapport indiquant cela sans vérifier l'exactitude des résultats. Cela permet à l'auteur de soumettre de nouveau à une autre revue plus rapidement que si je prenais mon temps avec le journal.

4. L'éditeur a-t-il donné des instructions supplémentaires? Par exemple, une revue de premier plan a explicitement demandé aux réviseurs le niveau de qualité requis pour l'acceptation, car la revue avait un long arriéré et souhaitait réduire le volume d'articles acceptés. D'autres situations inhabituelles peuvent survenir, que l'éditeur peut résumer pour le réviseur.

J'essaie de répondre aux questions 1 et 3 du premier paragraphe de l'examen. Voilà ce que l'éditeur doit savoir. Les parties inférieures de la critique sont davantage destinées à l'auteur et peuvent contenir des remarques liées à d'éventuels changements ou ajouts, en particulier si ma recommandation est de réviser et de soumettre à nouveau.

Answer 6

view on stackexchange narkive permalink

Si vous décidez qu'un article particulier que vous révisez est acceptable, alors votre travail en tant qu'arbitre de l'article consiste à suggérer des améliorations qui, selon vous, aideront substantiellement la présentation du contenu scientifique. Même des corrections mineures comme celles que vous avez énumérées peuvent être considérées comme substantielles lorsqu'elles conduisent à une amélioration «réelle».

Par exemple, je dirais que suggérer un commentaire selon lequel les étiquettes des axes devraient être de 12 pt au lieu de 7 pt serait approprié, car cela améliorerait considérablement la lisibilité; cependant, plaider pour 12 pt au lieu de 13 pt n'est pas assez significatif pour faire une réelle différence. De même, je signalerais les fautes de grammaire ou d'orthographe si elles sont relativement peu nombreuses, mais je ferais un commentaire général s'il y en a beaucoup, car je ne suis pas payé pour être rédacteur en chef. (Comme autre exemple, les virgules d'Oxford n'augmenteraient pas à ce niveau, sauf s'il s'agit d'un problème "Mange, tire et part".)

En général, cependant, il n'y a rien qui soit vraiment trop pinailler dans la nature, sauf si tout ce que vous faites est d'exprimer une préférence personnelle.

Answer 7

view on stackexchange narkive permalink

S'il s'agit de suggestions plutôt que de mandats (comme vous le suggérez) et si vous êtes prêt à consacrer du temps à fournir de tels commentaires, je vous conseille d'y aller. Cela ne pourrait que vous aider, tant que vous n'êtes pas si pointilleux que les auteurs se retrouvent avec une liste trop écrasante à gérer (je ne sais pas où se trouve la barre pour cela).

FYI: I Je suis aussi un "jeune" chercheur, pas un éditeur de journal.

Answer 8

view on stackexchange narkive permalink

Je peux également ajouter un autre pointeur que j'ai appris au fil des ans sur ce qui constitue un bon avis.

Ce que vous devriez éviter:

• Rejeter le papier parce que vous n’avez pas aimé l’approche (la science ne consiste pas à aimer, mais à corriger)

• Rejeter le papier parce qu’il contient de nombreuses fautes de frappe (vous pouvez toujours demander une vérification orthographique, mais si le l'idée est bonne, ne pas être un locuteur natif ne devrait pas vous affecter)

• Critiquer un article pour ne pas avoir de définitions simples, ma règle de base est que si un concept apparaît dans un Recherche Google comme une page wikipedia, l'auteur n'a pas à l'expliquer à nouveau.

Ce qui peut aider l'article:

• Si la grammaire est médiocre, recommandez un livre pour les styles d'écriture, comme Strunk et White, et donnez quelques exemples sur la façon dont le papier peut être amélioré.
• Si vous pensez que le papier a des concepts obscurs (qui ne sont pas venus sur Wikipédia) demandez des éclaircissements.
• Le document, en règle générale, doit être mis en œuvre par quelqu'un qui a l'expertise dans le domaine.

Answer 9

view on stackexchange narkive permalink

Mon principal critère pour de telles préoccupations en matière de clarté et de présentation est le temps du lecteur : c'est le temps qu'il faut aux auteurs pour répondre à votre préoccupation comparable au temps (cumulatif) gagné par les lecteurs de l'article.

Cela signifie aussi: plus l'audience attendue est large, plus vous pouvez pinailler.