Navigation – Plan du site

Éditions littéraires et linguistiques de l'université de Grenoble

L’impact de la norme sur l’évaluation des écrits universitaires

How Norms Impact Academic Writings Assessment
Marie Beillet et Élodie Lang

Résumés

L’université française est un contexte soumis à des normes langagières particulières. La formation académique répond ainsi à des codes qui lui sont propres, que l’on peut notamment déceler dans les attentes évaluatives. Les scripteurs novices se retrouvent alors confrontés à des besoins d’écriture inédits et rencontrent de nouvelles difficultés. Cependant, au-delà de ces perturbations et des facteurs liés à leur apparition, il semble nécessaire de réfléchir au rapport que les étudiants, mais également les enseignants, entretiennent à la norme en contexte académique.

Dans cette perspective, il apparait essentiel de s’interroger sur le poids des normes langagières dans les représentations des enseignants, ainsi que sur l’impact qu’elles ont sur leurs pratiques évaluatives. Nous voulons ainsi montrer comment le contexte des littéracies universitaires modifie le rapport qu’entretiennent les enseignants aux compétences grammaticales des étudiants.

Cette étude compare les procédés d’évaluation, les critères de jugement (explicites et implicites) et les pratiques de corrections mis en œuvre par des enseignants de formation universitaire. On mesure l’impact des représentations des correcteurs sur leurs perceptions des productions étudiantes, ainsi que l’influence qu’exercent ces représentations sur la réception et l’évaluation des écrits universitaires. En dernière partie, l’analyse d’un questionnaire post-test soumis aux enseignants montre à quel degré la norme linguistique intervient dans leurs évaluations des écrits universitaires.

Haut de page

Texte intégral

1. Introduction

1En tant que situation d’enseignement/apprentissage, le milieu académique français est un contexte spécifique régi par un certain nombre de normes qui lui sont propres (Coulon, 1999) et qui vont influer sur les méthodes d’enseignement, les types de discours ou encore l’évaluation. Ainsi, les chercheurs du domaine des littéracies universitaires s’intéressent aux compétences à l’œuvre dans les activités scripturales liées à l’enseignement supérieur (Rispail, 2011). Plus particulièrement, ces recherches approfondissent les difficultés auxquelles se confrontent les étudiants au moment de convenir aux impératifs de l’écrit académique.

2Les récentes études ont ainsi remis en question le point de vue selon lequel les littéracies universitaires se cantonnaient aux problèmes de compétences langagières, et plus particulièrement grammaticales. Dans cette perspective, les activités d’écriture universitaire se sont vues requalifiées en écrits académiques, témoignant alors d’une conception de ces actes scripturaux aussi bien méthodologique et scientifique que linguistique (Cavalla, 2010a). Pour autant, les recherches effectuées sur les besoins langagiers précis produits par le contexte des littéracies universitaires (Boch & Buson, 2012 ; Rinck & Sitri, 2012 ; Dezutter, 2015) montrent que des compétences grammaticales spécifiques sont bien nécessaires (Goes & Mangiante, 2010). Les enjeux linguistiques des écrits académiques ne se résument donc pas simplement aux problèmes de genre de texte ou de structuration de l’écrit, mais s’étendent aux questions de nouvelles normes énonciatives, culturellement et contextuellement liées à la communication propre au milieu universitaire.

3En conséquence, de nouveaux besoins scripturaux émergent, les étudiants se voyant contraints dès lors de réorganiser leurs compétences grammaticales dans la perspective d’une langue universitaire de spécialité. Ces difficultés affectent d’ailleurs tout type de public : là où les étudiants français se heurtent à des problèmes d’objectivation et de posture (Rinck, 2011) ou encore de réorientation de savoir-faire, les allophones s’efforcent de s’approprier des procédés discursifs formellement et culturellement méconnus. C’est de cette manière que les deux publics affrontent les mêmes obstacles langagiers : au croisement entre exigences scripturales académiques et compétence grammaticale, les mêmes erreurs apparaissent, dans des circonstances et des fréquences analogues (Lang & Meyer, 2017 à paraitre).

4Les différentes difficultés des apprenants en situation de formation académique font l’objet de nombreuses recherches dans le domaine des littéracies universitaires, tout comme la relation qu’ils peuvent développer vis-à-vis de la langue française (Vibert, 1998 ; Laborde-Milaa, Boch & Reuter, 2004). Cependant, il semble également légitime de réfléchir au regard des enseignants sur ce point : quelle influence opère leur rapport à la norme linguistique sur leurs représentations ? Quelle est l’incidence de ce rapport à la norme grammaticale sur leurs processus d’évaluation ? Nous pensons ainsi que les représentations véhiculées dans le contexte académique à l’égard de l’importance de la norme langagière impactent (consciemment ou non) les perceptions des enseignants, ainsi que la réception et l’évaluation des écrits universitaires.

2. L’évaluation des productions écrites universitaires

2.1. Les attentes de l’institution

5Depuis deux décennies, de nombreux chercheurs se sont penchés sur les formes d’écrits universitaires actuellement indiquées par l’institution (Chiss & David, 2012), ainsi que sur les constituants de ces dernières. De ce fait, on retrouve des études sur les difficultés des étudiants concernant les discours académiques (Pollet, 2001), les genres disciplinaires (Delcambre & Lahanier-Reuter, 2010), la méthodologie universitaire (Cavalla & Bou, 2011) ou encore les habiletés linguistiques (Pollet, 2010a ; Cavalla, 2010b). Si ces recherches ont été foisonnantes ces dernières années, les études menées sont bien souvent tournées vers les problématiques rencontrées par les étudiants. À raison : bien que la diffusion des savoirs au sein du milieu académique soit principalement orale, la plupart des évaluations de ces derniers se déroulent à l’écrit — de l’ordre de 80 % (Mangiante & Parpette, 2011). Modalités de contrôle des connaissances privilégiées, les littéracies universitaires sont ainsi soumises à de nombreux codes auxquels doivent convenir les scripteurs novices : exigences disciplinaires, contraintes discursives, attentes méthodologiques, impératifs langagiers.

6Ces pratiques langagières universitaires posent de multiples problèmes aux étudiants, principalement pour deux raisons : des critères de forme nouveaux sont à respecter pour convenir aux attentes de l’institution et ces critères ne sont ni nécessairement ni clairement formulés. Mangiante et Parpette (2011) disent à ce propos que les productions universitaires des étudiants :

[…] constituent l’essentiel de leur évaluation dans l’enseignement supérieur français. Elles répondent généralement à des règles méthodologiques d’écriture pas toujours explicitées, souvent implicites au contraire, et liées à une culture éducative censée être initiée dès le secondaire en France. (p. 122)

En ce sens, il semble intéressant de prendre en compte les représentations du travail attendu des étudiants par les enseignants, ces derniers jugeant de la réussite universitaire.

2.2. La confrontation à la norme

  • 1 Au sens de Cuq (2003), où usage du français (en tant qu’outil de communication) et dimension prescr (...)
  • 2 En tant que communauté (définie par le Larousse comme un « ensemble de personnes unies par des lien (...)

7Bien souvent méconnues des étudiants primo-entrants, les normes universitaires demeurent des codes implicites dans le supérieur (Lahire, 2000). Parmi ces standards à respecter se place celui de la norme linguistique1. Longtemps accusée d’être responsable de l’échec des étudiants dans le supérieur, elle représente un critère de différenciation tacite. Le langage est ainsi à la fois « objet de savoirs et de pouvoirs, son degré de maitrise situe socialement et les normes et exigences qui s’y rapportent pèsent sur les pratiques individuelles » (Erpelding, 2010, p. 44). Or l’université française relève de normes spécifiques2, imposant acculturation et acquisition d’une nouvelle socialité. Intégrer cette communauté linguistique dans ses formes, types de structurations langagières et cognitives (maitrise du langage scientifique, abstrait, etc.) et se socialiser à ses codes relèvent d’opérations complexes. Cette acculturation se révèle souvent d’autant plus difficile que l’étudiant n’y est pas préparé (Beillet, 2016).

8Cette adaptation de leurs savoirs et savoir-faire langagiers aux nouveaux codes provoque ainsi par ricochet la résurgence d’erreurs linguistiques. Pollet (2010b, p. 136) impute ces « fautes de français » à la situation d’énonciation pour les étudiants francophones, mais nuance ce propos pour les allophones, pour lesquels elle présume que ces « fautes » seraient liées à un défaut de maitrise de la langue (p. 138). Pourtant, les récentes études menées montrent que les deux publics, français et étrangers, produisent les mêmes erreurs en contexte de littéracies universitaires (Lang & Meyer, 2015).

9Cette contrainte de la norme grammaticale sur la réception de leurs travaux n’a pas échappé aux étudiants qui, conscients de leurs difficultés linguistiques, se retrouvent démunis à leur arrivée à l’université (David, 2014). Pour leur part, les enseignants semblent adopter trois types de rapport face à la norme linguistique selon Delcambre (2017, à paraitre) :

[…] une attitude normative qui dénonce le manque de connaissances linguistiques des étudiants, une attitude « réaliste » qui prend la mesure de ce qui est acceptable ou non, une attitude « pédagogiste » qui considère que ce type d’apprentissages n’est pas achevé et qui dénote une certaine confiance dans le développement des étudiants.

2.3. Les représentations des acteurs

10Alors que les travaux en littéracies universitaires tendent à interroger les pratiques en lieu et place dans le milieu académique (Rey, 2005), certains mettent en avant que les représentations des acteurs du milieu universitaire au sujet de la norme linguistique sont fortement ancrées, tendant à biaiser leur appréciation des productions étudiantes (Defays & Maréchal, 2010). Cette démarche peut d’ailleurs apparaitre « naturelle » dans la mesure où ces représentations sont implicitement véhiculées dans le contexte de formation académique, lieu par lesquels les enseignants-évaluateurs sont également passés. Cadet (2006) explique à ce sujet que :

La/les culture(s) éducative(s) se construi(sen)t à partir des discours courants tenus dans les lieux d’éducation — famille et institutions scolaires — dans lesquels les individus ont évolué et renvoie(nt) aux habitus qu’ils y ont acquis, par l’inculcation de règles, de normes et de rituels. (p. 46)

11Cette conception est d’autant plus manifeste que, lorsqu’il s’agit des étudiants allophones, le discours et l’évaluation des enseignants se font plus intransigeants à leur égard. Omer (2014) met l’accent sur ce phénomène, en expliquant que les variations langagières des étudiants étrangers apparaissent comme un écart à la norme linguistique, celles-ci étant alors sanctionnées plus sévèrement :

Or les enseignants évaluateurs, à l’université, dans les disciplines autres que celles relevant de la didactique du FLE, n’étant pas habitués aux erreurs des francophones non natifs, peuvent sanctionner plus durement un type d’erreur de non natif parce qu’il est rare et qu’il devient, de ce fait, plus saillant qu’un type d’erreur commis très fréquemment par les natifs que chaque évaluateur rencontre régulièrement. Le premier type d’erreur choque car il affiche l’appartenance à la communauté allophone, une communauté qui n’utilise pas le français comme les Français. Le deuxième type d’erreur semble plus compréhensible car il est plus répandu, il peut alors être moins fortement sanctionné. (p. 2)

12Ce phénomène a d’ailleurs été observé dans l’étude exploratoire menée par Defays et Meunier (2015) : les représentations et comportements des enseignants sont plus prescriptifs que relativistes, et d’autant plus normatifs lorsqu’ils s’attachent aux aspects morphosyntaxiques, « lieux de cristallisation du discours normatif scolaire par excellence ». Pour sa part, Omer (2016) note que, dans les discours des enseignants-évaluateurs, l’association des erreurs morpho-lexico-syntaxiques est quasi-systématiquement imputée aux étudiants allophones, alors qu’à l’inverse, les commentaires positifs sont plus fréquemment attribués aux étudiants français.

13Ainsi, bien que l’on sache que les pratiques évaluatives présentent un caractère hétérogène, en raison de l’absence de standardisation des dispositifs et des procédures (Romainville, 2002), et que les procédés d’évaluation dans le supérieur occasionnent des défauts d’objectivité, notamment en termes de fiabilité et de validité (Romainville, 2011), il est intéressant de se pencher sur les processus évaluatifs des enseignants concernant les écrits universitaires, particulièrement concernant les critères liés à la norme langagière, qu’ils soient explicites ou non.

3. Écrits universitaires : paramètres d’étude

3.1. Sélection des productions écrites

14Les évaluations dans le cadre universitaire se déroulant majoritairement à l’écrit, nous nous sommes intéressées aux catégories de productions écrites universitaires transversales : restitutions du cours, commentaires et synthèses, études de cas et simulations (Mangiante & Parpette, 2011, p. 130-131). À cet égard, nous avons sélectionné deux sortes d’écrits-types rencontrés par les étudiants à l’université, dont les codes sont plus ou moins explicites : le résumé et la question ouverte d’examen.

15Les restitutions du cours reposent principalement sur la prise de notes effectuée durant le semestre. Dans cette situation d’examen, les étudiants doivent être capables de donner des définitions de concepts disciplinaires, ou de mobiliser ces concepts lors d’une courte présentation, mais également de répondre à des questions qui impliquent une mobilisation des connaissances vues en cours. Dans ce type de productions, rien n’est considéré comme nouveau pour l’étudiant, car toutes les réponses attendues par l’enseignant ont été traitées en classe.

16Au contraire, les résumés (tout comme les commentaires ou synthèses) impliquent un certain nombre de compétences méthodologiques attendues (ce type d’écrits étant soumis à une méthodologie plus prescriptive). Si les enseignants peuvent fournir aux étudiants la méthodologie de ces types d’écrits avec les étapes parfois illustrées, il est souvent considéré que l’étudiant est un lecteur confirmé capable de comprendre des textes complexes, de sélectionner les informations importantes et de confronter des points de vue. Pour produire ces types d’écrits, une compétence méthodologique n’est évidemment pas suffisante : une compétence de lecture spécifique s’avère également nécessaire.

17Partant de ces constats, nous avons fait le choix de retenir des productions de niveau Licence, dans le but de confronter les évaluateurs aux difficultés linguistiques des étudiants en posture de scripteurs non initiés aux normes académiques (pour plus de détails, voir Romainville & Michaut, 2012). Pour notre expérimentation, ont alors été sélectionnés : une question de cours en Licence 3 de Lettres modernes et Langues vivantes étrangères parcours Didactique du FLE (« “L’expérience est-elle le fondement de la connaissance” : en quoi cette question vient-elle remettre en cause le béhaviorisme ? »), ainsi qu’un résumé effectué par des étudiants de Licence 1 de Lettres modernes à partir d’un article du journal Le Monde (du 17 janvier 2016).

3.2. Profils des évaluateurs-témoins

18Dans cette étude, nous souhaitons observer l’impact des représentations liées à la norme langagière et véhiculées par la culture éducative et académique. C’est pourquoi notre panel d’évaluateurs-témoins possède comme critère commun d’avoir été formés dans le supérieur.

19Huit enseignants, dont les profils ont été résumés dans le tableau 1, ont accepté de participer à l’expérimentation. Il est par ailleurs à noter que l’un des participants a dû se retirer au cours de l’étude (après l’expérience 1) et que l’ensemble des évaluateurs-témoins n’étaient pas des spécialistes des sujets d’examen abordés dans les copies d’étudiants.

Tableau 1. – Profils des évaluateurs-témoins.

Diplôme

Cycle d’enseignement

Spécialité enseignée

Évaluateur 1

Doctorat

Sciences du langage

Supérieur

Sciences du langage

Évaluateur 2

Master

Communication européenne

Secondaire

Anglais

Évaluateur 3

Licence

Commerce

Secondaire

Français

Évaluateur 4

Masters

Littérature britannique

& Didactique du FLE

Supérieur

FLE

Évaluateur 5

Master

Lettres modernes

Secondaire

Français

Évaluateur 6

Doctorat

Didactique du FLE

Supérieur

Didactique du FLE

Évaluateur 7

Doctorat

Sciences du langage

Supérieur

Sciences du langage

Évaluateur 8

Doctorat

Didactique des langues

Supérieur

Didactique du FLE

3.3. Déroulement de l’expérimentation

20L’analyse des processus évaluatifs introduit différents types de paramètres qui nécessitent de prendre en compte des aspects à la fois qualitatifs (variations de notations) et quantitatifs (analyse des discours d’évaluateurs-témoins), mais également connexes (temporalité, fatigue, etc.). Pour cela, nous avons procédé à une démarche mixte ainsi qu’à des mesures transversales (copies corrigées sur un intervalle court) et longitudinales (productions évaluées avec une interruption longue) afin de faire varier certains paramètres d’étude. De ce fait, l’expérimentation menée s’est déroulée en cinq étapes, sur sept mois.

21En premier lieu, et avant d’entamer le processus d’évaluation, les évaluateurs-témoins ont complété un questionnaire sur leurs pratiques évaluatives. En second lieu, ils ont eu à corriger quatre lots de productions écrites d’étudiants, pour lesquelles ils avaient à laisser des notes et des commentaires, puis à remplir pour chaque lot de copies un questionnaire post-évaluation dans lequel ils avaient à expliciter leurs pratiques évaluatives. Les évaluateurs-témoins ont alors suivi, pour chaque passation, le même processus afin d’assurer une stabilité intra-correcteur.

22Le questionnaire préalable (QP) nous a permis d’interroger les évaluateurs-témoins sur leurs procédés d’évaluation habituels (notamment s’ils utilisaient des grilles d’évaluation, de quelle manière elles étaient construites, quels critères étaient les plus importants) afin de pouvoir établir quels points attiraient explicitement leur attention de correcteur et de le comparer à leurs pratiques effectives. Ensuite, la consigne suivante a été fournie pour chaque expérience : « Selon votre méthode habituelle, vous évaluerez les différentes copies. Dans un document Word à part, vous veillerez à indiquer une note ainsi qu’un commentaire pour chaque production. Enfin, une fois cette expérience terminée, vous nous renverrez ce document et vous remplirez un questionnaire final. » La collecte des notes attribuées par les évaluateurs-témoins visait la comparaison des variations de notation intra-correcteur sur une même copie (authentique vs révisée), alors que les commentaires (dénommés C1, C2, C3, C4) permettaient d’observer si certaines remarques variaient en fonction des modifications apportées aux copies. Notons toutefois qu’un biais sur les commentaires a été introduit, dans la mesure où les évaluateurs-témoins avaient conscience du caractère factice de leurs remarques, ces dernières n’étant pas fournies aux étudiants par la suite. Enfin, les questionnaires post-évaluation (désignés Q1, Q2, Q3, Q4) portaient sur leurs processus d’évaluation pour chaque expérience : comment ont-ils procédé pour évaluer, qu’ont-ils corrigé prioritairement, à quels éléments ont-ils particulièrement été attentifs, quels critères ont-ils évalué, quels éléments ont-ils estimé rédhibitoires pour une production écrite de type universitaire. Ces questionnaires avaient pour objectif de vérifier si les évaluateurs-témoins restaient fidèles à leurs pratiques annoncées, mais aussi d’observer s’il y avait un changement dans les explications fournies qui pouvait être lié aux modifications opérées sur les copies.

23En pratique, les expériences 1 et 3 (E1 et E3) concernaient l’évaluation de la question de cours, avec un intervalle de six mois entre chaque expérience, tandis que les expériences 2 et 4 (E2 et E4), effectuées avec un intervalle de deux semaines, visaient l’évaluation du résumé. Pour les besoins de cette expérimentation, les copies utilisées pour E1 et E2 étaient les productions authentiques des étudiants, alors que pour E3 et E4, ces mêmes copies ont été révisées. En ce qui concerne E3, les changements opérés ont été de type morphosyntaxique (suppression des erreurs d’accord, travail sur les connecteurs et reprises anaphoriques, modification de la ponctuation) sur l’ensemble des copies qui présentaient des difficultés langagières importantes (soit 6 textes sur 8). En revanche, pour E4, les modifications appliquées ne portaient que sur les erreurs récurrentes et spécifiques à chaque copie (4 textes concernés sur 6). L’objectif de ces deux types de révisions était de pouvoir observer la possible influence de la présence (ou de l’absence) d’erreurs linguistiques dans l’évaluation des productions.

Tableau 2. – Récapitulatif de la démarche d’expérimentation.

Quest. préalable

E1

E2

E3

E4

Date

de l’expérience

Mai 2016

Juin 2016

Décembre 2017

Janvier 2017

Février 2017

Type

de production

Question

de cours

Résumé

Question

de cours

Résumé

Nombre

de copies

8

(P1 à P8)

6

(P9 à P14)

8

(P15 à P22)

6

(P23 à P28)

Modifications

apportées aux copies

Copies authentiques

Copies authentiques

Copies

révisées

Copies

révisées

Nombre

d’évaluateurs-témoins

8

8

7

7

7

Données complémentaires

C1 + Q1

C2 + Q2

C3 + Q3

C4 + Q4

4. Processus évaluatifs

4.1. Les démarches évaluatives

  • 3 Les commentaires en italique sont des extraits verbatim des réponses fournies par les évaluateurs-t (...)

24Interrogés dans un premier temps sur leurs pratiques d’évaluation avant de débuter les expériences, les évaluateurs-témoins ont tous indiqué utiliser une grille d’évaluation (à des fréquences et dans des contextes variables). Ainsi, si certains d’entre eux possèdent un cadre de grille fixe (« deux parties : tâches/langues3 », ou « une partie compétences (savoir-être, savoir-agir), une partie connaissances (orthographe, connaissances théoriques) »), d’autres signalent construire leurs grilles « en fonction des objectifs visés par l’évaluation ».

  • 4 « Contenu » dans une acception large, c’est-à-dire comprenant tout ce qui concerne les objectifs pu (...)
  • 5 « Langue » entendue au sens d’aspects linguistiques de type normatifs (lexique et morphosyntaxe). E (...)
  • 6 « Méthodologie » vue comme une caractéristique structurelle, qui relève à la fois d’un aspect techn (...)

25Par ailleurs, trois types d’étiquettes ont émergé sur la base des réponses fournies par les évaluateurs-témoins à la question des critères importants dans leur grille d’évaluation : le contenu4 (8 occurrences), la langue5 (4 occurrences) et enfin la méthodologie6 (2 occurrences). En outre, les correcteurs estiment qu’une grille bien construite se doit d’être en adéquation avec l’objectif de l’évaluation (pour 4 d’entre eux), d’être bien échelonnée (2) et de mettre en avant les compétences mises en œuvre dans le travail (2).

  • 7 Nous appelons schéma d’évaluation, les étapes de la démarche d’évaluation que les correcteurs vont (...)

26Dans un second temps, en analysant les explications fournies par les participants concernant leurs démarches évaluatives au cours des expériences, on constate que les processus de correction pour les expériences possèdent de nombreuses similitudes, même si aucun des schémas d’évaluation7 n’est strictement le même. Si la plupart des procédures sont explicites et peuvent être réutilisées quel que soit l’évaluateur, un correcteur se démarque en proposant un schéma qui semble, en l’état, peu exploitable par autrui, dû à la subjectivité des critères usités (« Première lecture de toutes les copies / classement par ordre de pertinence / commentaire puis notation »). Qui plus est, il est apparu qu’une démarche supplémentaire s’est ajoutée lors de E2 et E4 : celle de la lecture, par l’évaluateur, du texte à résumer. En effet, contrairement à E1 et E3 basées sur des écrits de restitution de cours, E2 et E4 reposaient pour leur part sur des résumés d’article journalistique. Les processus de lectures successives sont ainsi plus précisément décrits (« Lecture du texte / création de la grille d’évaluation / 1re lecture pour évaluer la globalité / 2e et 3e lecture par paragraphe + décompte du nombre de mots ») et un critère « harmonisation des copies », point mentionné à plusieurs reprises.

4.2. Les notes et commentaires rétroactifs

27Pour chaque expérience, les évaluateurs-témoins ont eu à fournir des notes pour chacune des copies, ainsi qu’un commentaire. Ces deux éléments nous ont permis de comparer, d’un côté, l’évolution des moyennes des copies entre les expériences, et d’un autre côté, les attitudes des évaluateurs en fonction de leur profil.

28Ainsi, dans un premier temps, on observe que les moyennes des copies ont toutes évolué (à l’exception d’une) entre les différentes passations. Il est à noter que certaines copies n’avaient pas fait l’objet de rectifications linguistiques, comme ce fut le cas pour les copies P1-P2-P7-P8 (celles de E1 et E3) et P9-P13 (celles de E2 et E4). Plusieurs phénomènes apparaissent dans l’évolution de ces moyennes : d’une part, on constate que les écarts de notes sont plus grands pour l’évaluation de la question ouverte ; d’autre part, certaines copies (P1 et P8) ont fait l’objet d’une révision négative par les évaluateurs-témoins pour ce même écrit. Ces écarts peuvent s’expliquer par un intervalle de correction plus long, les évaluateurs-témoins n’ayant alors pas l’impression de corriger deux fois les mêmes copies. Il est également probable, dans cette même idée, que la qualité supposée des copies ait été réévaluée en fonction de la nouvelle appréciation des copies rectifiées. Enfin, nous remarquons dans l’évolution de ces moyennes que les copies ayant été révisées au niveau linguistique ont toutes fait l’objet d’une réévaluation positive, avec des écarts plus marqués que les copies non retouchées. Les seules exceptions demeurent les copies P5 et P10, dont l’écart est très proche des copies P2 et P13. Pour ces deux copies (P5 et P10), il s’avère que la modification linguistique s’est principalement focalisée sur des problèmes d’emploi de connecteurs logiques, changements peut-être insuffisants pour que les évaluateurs y prêtent une attention significative.

Tableau 3. – Évolution des moyennes entre expériences.

Copie 1

Copie 2

Copie 3

Copie 4

Copie 5

Copie 6

Copie 7

Copie 8

(P1 & P15)

(P2 & P16)

(P3 & P17)

(P4 & P18)

(P5 & P19)

(P6 & P20)

(P7 & P21)

(P8 & P22)

Entre E1 et E3

- 1,08

+ 0,8

+ 2,36

+ 2,56

+ 0,85

+ 1,82

+ 0,12

- 0,88

Copie 9

Copie 10

Copie 11

Copie 12

Copie 13

Copie 14

(P9 & P23)

(P10 & P24)

(P11 & P25)

(P12 & P26)

(P13 & P27)

(P14 & P28)

Entre E2 et E4

=

+ 0,15

+ 0,64

+ 2,29

+ 0,36

+ 1,71

29Dans un second temps, nous avons souhaité examiner les comportements des évaluateurs-témoins selon leur profil, de manière à distinguer l’influence des représentations véhiculées par le milieu universitaire, que ce soit en termes de formation ou de cadre de travail. Pour cela, nous avons analysé le discours de chaque évaluateur dans les commentaires réalisés pour chacune des copies. Dans l’optique d’observer l’impact des critères relatifs aux normes langagières, nous avons dégagé dans les commentaires des enseignants tous les aspects liés aux étiquettes « méthodologie » et « langue ». De cette manière, nous avons pu extraire cinq rubriques, dont quatre d’entre elles sont relatives à la norme linguistique (registre, syntaxe, orthographe-grammaire, lexique). Sur la base de ces rubriques, nous avons classé les différents commentaires des évaluateurs-témoins, en leur attribuant également une polarité (positive ou négative).

30Les résultats de cette analyse montrent que les évaluateurs-témoins sont tous attentifs aux critères méthodologiques et syntaxiques. Cependant, on constate qu’à la différence des évaluateurs du secondaire, les correcteurs du supérieur donnent une place plus importante au registre (académique). Enfin, il apparait également que les enseignants du supérieur accordent une influence plus conséquente à la langue que ceux du secondaire (49 et 32 occurrences contre 27). Pour finir, au sein même des évaluateurs universitaires, on remarque que les enseignants de sciences du langage prêtent une part très importante à la grammaire et à l’orthographe (plus qu’à la syntaxe ou au registre).

31De ces constats se dégagent trois types de profils d’évaluateurs : les enseignants du secondaire semblent adopter une attitude plus tolérante envers les écarts morphologiques des étudiants, alors que les enseignants du supérieur en didactique du FLE démontrent une posture plus pragmatique en portant une attention particulière aux aspects contextualisés des écrits ; les enseignants du supérieur en sciences du langage témoignent d’un comportement plus formaliste par rapport à la norme grammaticale.

Tableau 4. – Rubriques de commentaires.

Spécialité

Méthodologie

Registre

Syntaxe

Orthographe- grammaire

Lexique

Sciences du langage (supérieur)

48

(30 négatifs /
16 positifs)

11

(7 négatifs /
4 positifs)

12

(6 négatifs /
6 positifs)

24

(17 négatifs /
7 positifs)

2

(2 négatifs)

Didactique du FLE

(supérieur)

51

(30 négatifs /
18 positifs)

6

(6 négatifs)

26

(13 négatifs /
13 positifs)

0

0

Français / Anglais

(secondaire)

59

(38 négatifs /
15 positifs)

1

(1 négatif)

22

(8 négatifs /
13 positifs)

1

(1 négatif)

3

(3 négatifs)

4.3. Les critères d’évaluation

32À partir des questionnaires post-évaluation, nous avons obtenu des évaluateurs-témoins qu’ils verbalisent leurs processus correctifs. Plusieurs questions leur étaient posées, notamment sur les critères qu’ils employaient aux divers moments de leurs procédures d’évaluation. Ainsi, ils ont expliqué quels éléments ils ont notés, ceux qu’ils ont observés en premier lieu, ceux auxquels ils ont porté une attention particulière, et enfin ceux qui leur ont paru être des éléments rédhibitoires pour des productions universitaires.

33En s’appuyant sur ces explicitations, nous avons pu faire émerger plusieurs critères sur lesquels les évaluateurs-témoins se focalisent, que nous avons alors classés dans les trois types d’étiquettes extraites des réponses fournies dans le QP et évoquées supra (contenu, langue, méthodologie). Toutefois, il est à noter que certaines verbalisations n’ont pas pu être catégorisées de manière précise, comme pour des remarques telles que « la correspondance avec la consigne ». En l’état, les formulations ne nous permettent pas de déterminer si la « consigne » renvoie au nombre de mots ou au contenu de la production.

34Ainsi, la classification des occurrences dans les différentes étiquettes a donné lieu à l’apparition d’une évolution dans les comportements des évaluateurs-témoins, comme un glissement inconscient dans leurs démarches. Ce phénomène s’observe particulièrement lorsque l’on compare la progression des répartitions d’occurrences entre les trois étiquettes au fil des questions qu’ont renseignées les évaluateurs.

Graphique 1. – Points évalués prioritairement.

Graphique 1. – Points évalués prioritairement.

Graphique 2. – Points de vigilance.

Graphique 2. – Points de vigilance.

Graphique 3. – Points examinés.

Graphique 3. – Points examinés.

Graphique 4. – Points pénalisants.

Graphique 4. – Points pénalisants.

35Alors que dans un premier temps, les évaluateurs-témoins disent évaluer prioritairement le contenu pour la question de cours et la méthodologie pour le résumé, on remarque que la langue, pourtant absente des processus d’évaluation évoqués (un seul évaluateur sur l’ensemble de l’expérimentation a répondu « l’orthographe »), tend à se manifester dans les critères auxquels les correcteurs sont attentifs en second lieu (« la clarté d’expression », ou encore « syntaxe, grammaire, orthographe »). Par la suite, on constate que ce même critère de langue prend une part plus importante (« La langue, tant pour la lisibilité de la structure de la réponse que pour sa qualité dans un devoir d’expression », « Langue adaptée au type d’écrit », « Qualité de l’expression : logique, syntaxe, grammaire et orthographe »), au même titre que les critères de contenu et de méthodologie dans l’évaluation des écrits fournis. Ce résultat demeure cependant cohérent dans la mesure où la langue apparait comme l’un des critères retenus dans les grilles des évaluateurs.

36En revanche, là où les résultats sont plus intéressants encore, c’est que la langue est jugée comme un critère pénalisant pour la plupart des évaluateurs-témoins (« L’orthographe (maitriser l’orthographe est un signe d’un certain niveau d’abstraction et d’analyse) », « L’orthographe […] parce qu’il s’agit d’une épreuve académique », « Le non respect […] de la langue académique, même si mon intolérance est progressive, car ce sont des aspects qui s’acquièrent au cours de la formation universitaire »).

37Ainsi, deux éléments semblent émerger de ces discours post-évaluation tenus par nos évaluateurs-témoins : d’une part, suivant les formes d’écrits attendues, le contenu n’est pas nécessairement le critère prioritairement évalué ; d’autre part, la langue semble prévaloir sur les autres critères si elle est imparfaitement maitrisée (au regard des réponses fournies dans les questionnaires post-évaluation par les évaluateurs-témoins).

5. Conclusion

38Cette étude, menée sur les représentations des enseignants et leur rapport à la norme linguistique dans leurs réceptions des productions universitaires, a permis de mettre en avant plusieurs démarches implicites et procédés inconscients qui influençaient leurs pratiques évaluatives.

39Ainsi, en comparant les processus d’évaluation préalablement fournis par les évaluateurs-témoins avec leurs pratiques effectives lors de chaque expérience, nous avons pu constater que les participants n’avaient pas été totalement fidèles aux méthodes qu’ils avaient annoncées. Nous pensons que cela peut s’expliquer par le fait que les expériences menées n’étaient pas assez contextualisées pour eux : ce n’étaient ni leurs étudiants, ni leur spécialité.

40En outre, nous avons noté qu’en termes d’attentes et de critères correctifs, la langue avait été peu mentionnée dans les méthodes explicitement appliquées. Cependant, l’analyse des commentaires fournis pour chaque copie, ainsi que celle des explications fournies à posteriori dans les questionnaires post-évaluation, montrent le rôle prégnant de la maitrise langagière et l’importance implicite qui lui est accordée. Qui plus est, cette importance semble être plus grande chez les évaluateurs-témoins du supérieur que du secondaire, d’autant plus chez ceux dont la discipline s’adresse majoritairement à des étudiants français. Il est à noter à ce propos que les trois catégories de comportements dégagées (formaliste, pragmatique, tolérant) dans notre étude rejoignent les attitudes (normative, réaliste, pédagogiste) relevées par Delcambre (2017). Les profils des évaluateurs donnent par ailleurs lieu, malgré l’utilisation d’une grille d’évaluation, à des variations correctives plus ou moins importantes, au sein desquelles vient également se jouer le rapport implicite à la norme.

Haut de page

Bibliographie

Abric, Jean-Claude (dir.). (2016). Pratiques sociales et représentations. Paris : PUF.

Beillet, Marie. (2016). Conception d’un test d’évaluation des compétences en langue des étudiants allophones à l’entrée dans l’enseignement supérieur en France (Doctorat en sciences du langage, Université d’Artois, Arras). Disponible en ligne sur <https://hal.archives-ouvertes.fr/tel-01391273>.

Boch, Françoise & Buson, Laurence. (2012). Orthographe & grammaire à l’université. Quels besoins ? Quelles démarches pédagogiques ? Scripta, 16(30), 31-51.

Cadet, Lucile. (2006). Des notions opératoires en didactique des langues et des cultures : modèles ? Représentations ? Culture éducative ? Clarification terminologique. Les Cahiers de l’Acedle. Recherches en didactiques des langues, 2, 36-51.

Cavalla, Cristelle. (2010a). Méthodologie d’apprentissage de l’écrit universitaire. Le français dans le monde. Recherches et applications, 47, 153-161.

Cavalla, Cristelle. (2010b). Les écrits universitaires des étudiants étrangers : quelles normes présenter ? Dans O. Bertrand & I. Schaffner (dir.), Quel français enseigner ? La question de la norme dans l’enseignement/apprentissage (p. 203-214). Paris : Éditions de l’École polytechnique.

Cavalla, Cristelle & Bou, Paule. (2011). Un référentiel-outil de compétences méthodologiques. Dans L. Cadet, J. Goes & J.-M. Mangiante (dir.), Langue(s) et intégration : dimensions institutionnelle, socioprofessionnelle et universitaire (p. 365-381). Bruxelles : Peter-Lang.

Chiss, Jean-Louis & David, Jacques. (2012). Didactique du français et étude de la langue. Paris : Armand Colin.

Coulon, Alain. (1999). Un instrument d’affiliation intellectuelle. L’enseignement de la méthodologie documentaire dans les premiers cycles universitaires. Bulletin des bibliothèques de France, 44(1), 36-42.

David, Jacques. (2014). Les écarts orthographiques à l’entrée à l’université. Le français aujourd’hui, 185, 95-106.

Defays, Jean-Marc & Maréchal, Marielle. (2010). L’analyse du (des) discours universitaire(s) : en collaboration ou en concurrence avec les disciplines universitaires ? Communication présentée au colloque international « Littéracies universitaires : savoirs, écrits, disciplines », Lille. Disponible sur <http://hdl.handle.net/2268/121947> (consulté le 15 septembre 2017).

Defays, Jean-Marc & Meunier, Deborah. (2015). « Cachez cette erreur que je ne saurais voir ! » Représentations et attitudes normatives chez des enseignants et apprenants de français langue étrangère. Pratiques, 167-168. Disponible en ligne sur <http://pratiques.revues.org/2752> (consulté le 15 septembre 2017).

Delcambre, Isabelle & Lahanier-Reuter, Dominique. (2010). Les littéracies universitaires : influence des disciplines et du niveau d’étude dans les pratiques de l’écrit. Forumlecture3. Disponible en ligne sur <forumlecture.ch/sysModules/obxLeseforum/Artikel/431/Les-litteracies-universitaires.pdf> (consulté le 15 septembre 2017).

Delcambre, Isabelle & Lahanier-Reuter, Dominique. (2012). Littéracies universitaires : présentation. Pratiques, 153-154, 3-19.

Delcambre, Isabelle. (2017, à paraitre). Le discours évaluatif d’enseignants universitaires : de l’autre côté du miroir. Communication présentée à la journée d’études « Les outils numériques pour l’analyse et l’exploitation des discours universitaires : une nouvelle approche méthodologique et didactique », Arras, France.

Dezutter, Olivier. (2015). Repenser la didactique de l’écriture pour les apprenants universitaires de FLES. Dans J.-M. Defays (dir.), Faits et gestes de la didactique du FLES de 1995 à 2015 (vol. 3, p. 91-107). Paris : EME/L’Harmattan.

Erpelding, Cécile. (2010). L’écrit comme objet d’évaluation à l’université : attendus, contraintes et difficultés. Dans M. Demeuse, M.-C. Fougerouse & G. MaratierDeclety (dir.), L’évaluation des productions complexes en français langues étrangère/seconde dans l’enseignement supérieur (p. 43-53). Paris : L’Harmattan.

Goes, Jan & Mangiante, Jean-Marc. (2010). Les écrits universitaires : besoins linguistiques et méthodologiques des étudiants allophones. Le français dans le monde. Recherches et applications, 47, 142-152.

Laborde-Milaa, Isabelle, Boch, Françoise & Reuter, Yves. (2004). Les écrits universitaires : présentation. Pratiques, 121-122, 3-8.

Lahire, Bernard. (2000). Les manières d’étudier. Dans C. Grignon (dir)., Les conditions de vie des étudiants (p. 241-321). Paris : PUF.

Lang, Élodie & Meyer, Jean-Paul. (2015). Grammaire avancée et littéracies universitaires. Vos papiers sont-ils en règle ? Dans M. Vinaver-Kovic & V. Stanojević (dir.), Les études françaises aujourd’hui (2014). Pourquoi étudier la grammaire ? Théories et pratiques (p. 223-242). Belgrade : Faculté de philologie.

Lang, Élodie & Meyer, Jean-Paul. (2017, à paraitre). Grammaire et littéracies universitaires en FLM et FLE : sur la constance et la similitude de certaines erreurs. Dans J. André, O. Bertrand & I. Schaffner (dir.), Le français écrit au siècle du numérique : enseignement et apprentissage. Paris : Éditions de l’École polytechnique.

Mangiante, Jean-Marc & Parpette, Chantal. (2011). Le français sur objectif universitaire. Grenoble : PUG.

Omer, Danielle. (2014). Les écrits en français académique des étudiants natifs et non natifs : penser la variation. Le français aujourd’hui, 184, supplément disponible en ligne sur <www.afef.org/blog/espace.php?board=2&document=601> (consulté le 15 septembre 2017).

Omer, Danielle. (2016). Questionner les discours experts d’enseignants universitaires sur la catégorisation natifs/non natifs d’écrits académiques d’étudiants. Congrès mondial de linguistique française, Tours. <http://dx.doi.org/10.1051/shsconf/20162707010>.

Pollet, Marie-Christine. (2001). Pour une didactique des discours universitaires. Bruxelles : De Boeck Supérieur.

Pollet, Marie-Christine. (2010a). De la maitrise du français aux littéracies dans l’enseignement supérieur. Diptyque24.

Pollet, Marie-Christine. (2010b). L’acculturation des étudiants aux discours universitaires : allophones, francophones, mêmes problèmes, même combat ? Le français dans le monde. Recherches et applications, 47, 133-141.

Rey, Olivier. (2005). L’enseignement supérieur sous le regard des chercheurs. INRP, Cellule de veille scientifique et technologique, Dossier de la VST.

Rinck, Fanny & Sitri, Frédérique. (2012). Pour une formation linguistique aux écrits professionnels. Pratiques, 153-154, 71-83.

Rinck, Fanny. (2011). Former à (et par) l’écrit de recherche. Quels enjeux, quelles exigences ? Le français aujourd’hui, 174, 79-89.

Rispail, Marielle. (2011). Littéracie : une notion entre didactique et sociolinguistique. Enjeux sociaux et scientifiques. Forumlecture1. Disponible en ligne sur <www.leseforum.ch/myuploaddata/files/2011_1_rispail.pdf> (consulté le 15 septembre 2017).

Romainville, Marc, & Michaut, Christophe. (2012). Réussite, échec et abandon dans l’enseignement supérieur. Bruxelles : De Boeck.

Romainville, Marc. (2002). L’évaluation des acquis des étudiants dans l’enseignement universitaire (Rapport établi à la demande du Haut Conseil de l’évaluation de l’école). Paris. Disponible en ligne sur <www.hce.education.fr/gallery_files/site/21/93.pdf> (consulté le 15 septembre 2017).

Romainville, Marc. (2011). Objectivité versus subjectivité dans l’évaluation des acquis des étudiants. Revue internationale de pédagogie de l’enseignement supérieur, 27(2). Disponible en ligne sur <http://ripes.revues.org/499> (consulté le 15 septembre 2017).

Vibert, Anne. (1998). Enseigner la norme ? Dans C. Fintz (dir.), La didactique du français sans l’enseignement supérieur : bricolage ou rénovation ? (p. 59-72). Paris : L’Harmattan.

Haut de page

Notes

1 Au sens de Cuq (2003), où usage du français (en tant qu’outil de communication) et dimension prescriptive de la langue (application et respect des règles) sont différenciés selon plusieurs niveaux : norme objective, norme prescriptive, norme subjective, norme endogène. Dans un rapport communautaire où les représentations sociales reflètent la nature des règles, « la représentation est prescriptive de comportements ou de pratiques obligés » (Abric, 2016, p. 23).

2 En tant que communauté (définie par le Larousse comme un « ensemble de personnes unies par des liens d’intérêts, des habitudes communes, des opinions ou des caractères communs »), l’enseignement supérieur français possède normes, pratiques et usages propres, aussi bien au niveau éducatif, culturel, professionnel que scientifique.

3 Les commentaires en italique sont des extraits verbatim des réponses fournies par les évaluateurs-témoins.

4 « Contenu » dans une acception large, c’est-à-dire comprenant tout ce qui concerne les objectifs purement disciplinaires. Exemples : « objectif d’apprentissage », « contenu », « réponse attendue ».

5 « Langue » entendue au sens d’aspects linguistiques de type normatifs (lexique et morphosyntaxe). Exemples : « orthographe (grammaire et style) », « langues », « orthographes ».

6 « Méthodologie » vue comme une caractéristique structurelle, qui relève à la fois d’un aspect technique (méthode) et formel (structuration, cohérence/cohésion). Exemples : « méthodologie », « savoir-agir ».

7 Nous appelons schéma d’évaluation, les étapes de la démarche d’évaluation que les correcteurs vont suivre afin de déterminer une note (voire un commentaire) pour chacune des productions des étudiants. Cela implique que pour un même évaluateur, et alors que le sujet est le même, le processus d’évaluation peut être différent.

Haut de page

Table des illustrations

Titre Graphique 1. – Points évalués prioritairement.
URL http://lidil.revues.org/docannexe/image/4777/img-1.png
Fichier image/png, 2,4M
Titre Graphique 2. – Points de vigilance.
URL http://lidil.revues.org/docannexe/image/4777/img-2.png
Fichier image/png, 2,3M
Titre Graphique 3. – Points examinés.
URL http://lidil.revues.org/docannexe/image/4777/img-3.png
Fichier image/png, 2,2M
Titre Graphique 4. – Points pénalisants.
URL http://lidil.revues.org/docannexe/image/4777/img-4.png
Fichier image/png, 2,2M
Haut de page

Pour citer cet article

Référence électronique

Marie Beillet et Élodie Lang, « L’impact de la norme sur l’évaluation des écrits universitaires », Lidil [En ligne], 56 | 2017, mis en ligne le 01 novembre 2017, consulté le 17 novembre 2017. URL : http://lidil.revues.org/4777

Haut de page

Auteurs

Marie Beillet

Université d’Artois, Grammatica (UR 4521)
Université de Mons, INAS

Élodie Lang

Université de Strasbourg, LiLPa (UR 1339) & Grammatica (UR 4521)

Haut de page

Droits d’auteur

© Lidil

Haut de page
  • Revues.org