MMLU FR

eval_llm/MMLU-FR/data/dev/abstract_algebra_dev.fr.csv

@@ -0,0 +1,5 @@
+Trouvez tous les c dans Z_3 tels que Z_3[x]/(x^2 + c) est un champ.,0,1,2,3,B
+"Affirmation 1 | Si aH est un élément d'un groupe factoriel, alors |aH| divise |a|. Affirmation 2 | Si H et K sont des sous-groupes de G, alors HK est un sous-groupe de G.","Vrai, Vrai","Faux, faux","Vrai, Faux","Faux, Vrai",B
+Affirmation 1 | Chaque élément d'un groupe génère un sous-groupe cyclique du groupe. Affirmation 2 | Le groupe symétrique S_10 a 10 éléments.,"Vrai, Vrai","Faux, faux","Vrai, Faux","Faux, Vrai",C
+Affirmation 1| Toute fonction d'un ensemble fini sur lui-même doit être une à une. Affirmation 2 | Tout sous-groupe d'un groupe abélien est abélien.,"Vrai, Vrai","Faux, faux","Vrai, Faux","Faux, Vrai",A
+Trouvez la caractéristique de l'anneau 2Z.,0,3,12,30,A

eval_llm/MMLU-FR/data/dev/anatomy_dev.fr.csv

@@ -0,0 +1,5 @@
+Quelle est l'origine embryologique de l'os hyoïde ?,Le premier arc pharyngien,Les premier et deuxième arcs pharyngés,Le deuxième arc pharyngien,Les deuxième et troisième arcs pharyngés,D
+Lesquelles de ces branches du nerf trijumeau contiennent des processus moteurs somatiques ?,Le nerf supra-orbitaire,Le nerf infra-orbitaire,Le nerf mental,Aucune de ces réponses,D
+La plèvre,n'ont pas d'innervation sensorielle.,sont séparés par un espace de 2 mm.,s'étendent dans le cou.,sont composés d'un épithélium respiratoire.,C
+"Dans l'occlusion de classe II Div 2 d'Angle, il y a",un excès d'occlusion des incisives latérales supérieures.,le surplomb négatif des incisives centrales supérieures.,l'excès d'enjambement des incisives latérales supérieures.,l'excès d'enjambement des incisives centrales supérieures.,C
+Lequel des éléments suivants est la cavité corporelle qui contient la glande pituitaire ?,Abdominal,Crâne,Pleural,Rachis,B

eval_llm/MMLU-FR/data/dev/astronomy_dev.fr.csv

@@ -0,0 +1,5 @@
+Vous poussez un camion sur une route. Serait-il plus facile d'accélérer ce camion sur Mars ? Pourquoi (en supposant qu'il n'y a pas de frottement) ?,Ce serait plus difficile car le camion est plus lourd sur Mars.,Ce serait plus facile car le camion est plus léger sur Mars.,Ce serait plus difficile car le camion est plus léger sur Mars.,Ce serait la même chose où que vous soyez.,D
+D'où viennent la plupart des comètes à courte période et comment le savons-nous ?,"La ceinture de Kuiper ; les comètes à courte période ont tendance à se situer dans le plan du système solaire, tout comme la ceinture de Kuiper.","La ceinture de Kuiper ; les comètes à courte période ont tendance à venir de directions aléatoires, ce qui indique une distribution sphérique de comètes appelée ceinture de Kuiper.",La ceinture d'astéroïdes ; les comètes à courte période ont des périodes orbitales similaires à celles des astéroïdes comme Vesta et se trouvent dans le plan du système solaire tout comme la ceinture d'astéroïdes.,"Le nuage d'Oort ; les comètes à courte période ont tendance à se situer dans le plan du système solaire, tout comme le nuage d'Oort.",A
+Supposons que la pupille de votre œil ait un diamètre de 5 mm et que vous disposiez d'un télescope avec une ouverture de 50 cm. Quelle quantité de lumière le télescope peut-il capter de plus que votre œil ?,10000 fois plus,100 fois plus,1000 fois plus,10 fois plus,A
+Pourquoi n'y a-t-il pas de planète là où se trouve la ceinture d'astéroïdes ?,"Une planète s'est formée à cet endroit, mais elle a été brisée par une collision catastrophique.","Dans cette partie de la nébuleuse solaire, il n'y avait pas assez de matière pour former une planète.","Il y avait trop de matière rocheuse pour former une planète terrestre, mais pas assez de matière gazeuse pour former une planète jovienne.",La résonance avec Jupiter a empêché les matériaux de se rassembler pour former une planète.,D
+Pourquoi Mars est-elle rouge ?,"Parce que la surface est recouverte de minéraux fortement oxydés (""rouillés"").","Parce que l'atmosphère diffuse davantage de lumière à des longueurs d'onde plus bleues, transmettant principalement de la lumière rouge.",Parce que Mars est recouverte d'anciennes coulées de lave de couleur rouge.,L'eau qui s'écoule à la surface de Mars a modifié les minéraux de surface il y a plusieurs milliards d'années.,A

eval_llm/MMLU-FR/data/dev/business_ethics_dev.fr.csv

@@ -0,0 +1,5 @@
+"Au-delà des arguments commerciaux en faveur de la RSE, il existe un certain nombre d'arguments moraux concernant : _______ négatif, le _______that que possèdent les entreprises et le ________ de l'entreprise et de la société.","Externalités, pouvoir, indépendance","Publicité, Ressources insuffisantes, Dépendance mutuelle","Publicité, pouvoir, indépendance","Externalités, Pouvoir, Dépendance mutuelle",D
+"_______ est la tentative directe de gérer de manière formelle ou informelle les questions ou les problèmes éthiques, par le biais de politiques, de pratiques et de programmes spécifiques.",Responsabilité sociale des entreprises,Gestion de l'éthique des affaires,Durabilité,Gestion de l'environnement,B
+"Pour garantir l'indépendance des membres non exécutifs du conseil d'administration, un certain nombre de mesures peuvent être prises, notamment la sélection des membres non exécutifs à partir de _______ l'entreprise, leur nomination pour une période de temps _________ ainsi que leur nomination à _________.","Extérieur, Limité, Indépendant","A l'intérieur, limité, par intermittence","Extérieur, Illimité, Intermittent","A l'intérieur, Sans limite, Indépendamment",A
+"Les OSC peuvent adopter trois tactiques différentes pour atteindre leurs objectifs : ________, qui implique généralement la recherche et la communication, ________, qui peut consister à attaquer physiquement les activités d'une entreprise, ou ________, qui implique souvent une forme ou une autre de _______.","Action directe non violente, Action directe violente, Action indirecte, Boycott","Action indirecte, Action instrumentale, Action directe non violente, Campagne d'information","Action indirecte, Action directe violente, Action directe non violente Boycott","Action directe non violente, Action instrumentale, Action indirecte, Campagne d'information",C
+"Contrairement à ces dernières, les campagnes _______ visent à récompenser le comportement favorable des entreprises. Le succès de ces campagnes a été renforcé par l'utilisation de ___________, qui permet aux campagnes d'aider l'entreprise à atteindre _________ .","Buycotts, Boycotts, Technologie blockchain, Dons caritatifs","Buycotts, Boycotts, Technologie numérique, Augmentation des ventes","Boycotts, Buyalls, Technologie de la blockchain, Dons caritatifs","Boycotts, Buycotts, Technologie numérique, Augmentation des ventes",D

eval_llm/MMLU-FR/data/dev/clinical_knowledge_dev.fr.csv

@@ -0,0 +1,5 @@
+L'énergie nécessaire à toutes les formes de contraction musculaire est fournie par :,ATP.,ADP.,phosphocréatine.,la phosphorylation oxydative.,A
+Quelle est la différence entre un cathéter mâle et un cathéter femelle ?,Les sondes masculines et féminines sont de couleurs différentes.,Les sondes masculines sont plus longues que les sondes féminines.,Les sondes masculines sont plus grandes que les sondes féminines.,Les sondes féminines sont plus longues que les sondes masculines.,B
+"Lors de l'évaluation de la fonction de la main, laquelle des affirmations suivantes est vraie ?",L'abduction du pouce est assurée par la racine spinale T2,L'opposition du pouce par opponens policis est fournie par la racine spinale T1,L'adduction des doigts est assurée par le nerf médian.,L'abduction des doigts est médiée par l'interossei palmaire.,B
+"Combien de tentatives devez-vous faire pour canuler un patient avant de passer le relais à un collègue plus expérimenté, selon les connaissances médicales de 2020 ?",4,3,2,1,C
+La glycolyse est le nom donné à la voie impliquant la conversion de :,glycogène en glucose-1-phosphate.,glycogène ou glucose en fructose.,glycogène ou glucose en pyruvate ou lactate.,glycogène ou de glucose en pyruvate ou en acétyl-CoA.,C

eval_llm/MMLU-FR/data/dev/college_biology_dev.fr.csv

@@ -0,0 +1,5 @@
+Lequel des énoncés suivants est exact en ce qui concerne les arthropodes ?,Ils possèdent un exosquelette composé principalement de peptidoglycane.,Ils possèdent un système circulatoire ouvert avec un cœur dorsal.,"Ils appartiennent à un embranchement biologiquement inefficace, incapable d'exploiter des habitats et des sources de nutrition diversifiés.",Ils n'ont pas d'appendices paires et articulés.,B
+"Dans une population donnée, 1 personne sur 400 est atteinte d'un cancer causé par un allèle complètement récessif, b. En supposant que la population est en équilibre de Hardy-Weinberg, quelle est la proportion attendue de personnes porteuses de l'allèle b mais qui ne devraient pas développer le cancer ?",1/400,19/400,20/400,38/400,D
+"La présence de structures homologues dans deux organismes différents, comme l'humérus dans le membre antérieur d'un homme et d'un oiseau, indique que",l'homme et l'oiseau sont des espèces polyphylétiques,l'évolution de l'homme et de l'oiseau est convergente,l'homme et l'oiseau appartiennent à un clade,l'homme et l'oiseau se sont développés par analogie,C
+"Selon le modèle pression-flux du mouvement du contenu du phloème, le mouvement de photosynthèse de la source vers le puits est déterminé par",une pompe pression-débit dépendante de l'ATP,un gradient potentiel de pression de l'eau,transpiration,diffusion apoplastique,B
+"Parmi les éléments suivants, lesquels contiennent des séquences d'ADN nécessaires à la ségrégation des chromosomes lors de la mitose et de la méiose ?",Télomères,Centromères,Nucléosomes,Spliceosomes,B

eval_llm/MMLU-FR/data/dev/college_chemistry_dev.fr.csv

@@ -0,0 +1,5 @@
+Laquelle des affirmations suivantes concernant les éléments lanthanides n'est PAS vraie ?,L'état d'oxydation le plus courant des éléments lanthanides est +3.,Les complexes de lanthanide ont souvent des nombres de coordination élevés (> 6).,Tous les éléments lanthanides réagissent avec un acide aqueux pour libérer de l'hydrogène.,Les rayons atomiques des éléments lanthanides augmentent au cours de la période allant de La à Lu.,D
+"Un échantillon de 0,217 g de HgO (masse molaire = 217 g) réagit avec un excès d'ions iodure selon la réaction illustrée ci-dessus. Le titrage de la solution résultante nécessite combien de mL de HCl 0,10 M pour atteindre le point d'équivalence ?","1,0 ml",10 ml,20 ml,50 ml,C
+"Prévoir le nombre de raies dans le spectre RPE d'une solution de radical méthyle marqué au 13C (13CH3-), en supposant que les raies ne se chevauchent pas.",4,3,6,24,A
+"3 Cl-(aq) + 4 CrO_4^2-(aq) + 23 H+(aq) → 3 HClO2(aq) + 4 Cr3+(aq) + 10 H2O(l). Dans la réaction illustrée ci-dessus, Cl-(aq) se comporte comme",un acide,une base,un catalyseur,un agent réducteur,D
+"Lequel des énoncés suivants énumère les hydrures des éléments du groupe 14 par ordre de stabilité thermique, du plus faible au plus élevé ?",PbH4 < SnH4 < GeH4 < SiH4 < CH4,PbH4 < SnH4 < CH4 < GeH4 < SiH4,CH4 < SiH4 < GeH4 < SnH4 < PbH4,CH4 < PbH4 < GeH4 < SnH4 < SiH4,A

eval_llm/MMLU-FR/data/dev/college_computer_science_dev.fr.csv

@@ -0,0 +1,13 @@
+Laquelle des expressions régulières suivantes est équivalente à (décrit le même ensemble de chaînes que) (a* + b)*(c + d) ?,a*(c + d)+ b(c + d),a*(c + d)* + b(c + d)*,a*(c + d)+ b*(c + d),(a + b)*c +(a + b)*d,D
+"Une certaine machine RISC pipelinée possède 8 registres à usage général R0, R1, . . . , R7 et prend en charge les opérations suivantes.
+ADD Rs1, Rs2, Rd Ajouter Rs1 à Rs2 et placer la somme dans Rd
+MUL Rs1, Rs2, Rd Multiplier Rs1 par Rs2 et placer le produit dans Rd
+Une opération prend normalement un cycle ; cependant, une opération prend deux cycles si elle produit un résultat requis par l'opération immédiatement suivante dans une séquence d'opérations. Considérons l'expression AB + ABC + BC, où les variables A, B, C sont situées dans les registres R0, R1, R2. Si le contenu de ces trois registres ne doit pas être modifié, quel est le nombre minimum de cycles d'horloge requis pour une séquence d'opérations qui calcule la valeur de AB + ABC + BC ?",5,6,7,8,B
+"Le modèle de conception Singleton est utilisé pour garantir qu'une seule instance d'une classe peut être instanciée. Lequel (lesquels) des éléments suivants est (sont) vrai(s) pour ce modèle de conception ?
+I. La classe Singleton possède une méthode d'usine statique pour fournir son instance.
+II. La classe Singleton peut être une sous-classe d'une autre classe.
+III. La classe Singleton possède un constructeur privé.",Je ne,II seulement,III uniquement,"I, II et III",D
+"Un compilateur génère le code pour l'instruction d'affectation suivante.
+G := (A + B) * C - (D + E) * F
+La machine cible possède un accumulateur unique et un jeu d'instructions à adresse unique composé des instructions load, store, add, subtract et multiply. Pour les opérations arithmétiques, l'opérande gauche est pris dans l'accumulateur et le résultat apparaît dans l'accumulateur. Le plus petit nombre possible d'instructions dans le code résultant est le suivant",5,6,7,9,D
+"Considérons un ordinateur dans lequel plusieurs processeurs, chacun doté d'une mémoire cache privée, partagent la mémoire globale à l'aide d'un seul bus. Ce bus est la ressource critique du système. Chaque processeur peut exécuter une instruction toutes les 500 nanosecondes tant que les références mémoire sont satisfaites par son cache local. Lorsqu'une mémoire cache est manquée, le processeur est retardé de 2 000 nanosecondes supplémentaires. Pendant la moitié de ce délai supplémentaire, le bus est consacré au traitement de la mémoire cache manquante. Pendant l'autre moitié, le processeur ne peut pas continuer, mais le bus est libre de répondre aux demandes d'autres processeurs. En moyenne, chaque instruction nécessite 2 références mémoire. En moyenne, les erreurs de cache se produisent sur 1 % des références. Quelle proportion de la capacité du bus un seul processeur consommerait-il, sans tenir compte des retards dus à la concurrence des autres processeurs ?",1/50,1/27,1/25,2/27,B

eval_llm/MMLU-FR/data/dev/college_mathematics_dev.fr.csv

@@ -0,0 +1,8 @@
+"Soit V l'ensemble de tous les polynômes réels p(x). Soit les transformations T, S définies sur V par T:p(x) -> xp(x) et S:p(x) -> p'(x) = d/dx p(x), et interprétons (ST)(p(x)) comme S(T(p(x))). Lequel des énoncés suivants est vrai ?",ST = 0,ST = T,ST = TS,ST - TS est la carte d'identité de V sur lui-même.,D
+"Un réservoir contient initialement une solution saline de 3 grammes de sel dissous dans 100 litres d'eau. Une solution saline contenant 0,02 gramme de sel par litre d'eau est pulvérisée dans le réservoir à raison de 4 litres par minute. La solution pulvérisée est continuellement mélangée à la solution saline dans le réservoir, et le mélange s'écoule hors du réservoir à un rythme de 4 litres par minute. Si le mélange est instantané, combien de grammes de sel se trouvent dans le réservoir après 100 minutes ?",2,2 - e^-2,2 + e^-2,2 + e^-4,D
+"Soit A une matrice réelle 2x2. Laquelle des affirmations suivantes doit être vraie ?
+I. Toutes les entrées de A^2 sont non négatives.
+II. Le déterminant de A^2 est non négatif.
+III. Si A a deux valeurs propres distinctes, alors A^2 a deux valeurs propres distinctes.",Je ne,II seulement,III uniquement,II et III uniquement,B
+"Supposons que f(1 + x) = f(x) pour tout réel x. Si f est un polynôme et que f(5) = 11, alors f(15/2)",-11,0,11,33/2,C
+"Soit A l'ensemble de toutes les paires ordonnées d'entiers (m, n) telles que 7m + 12n = 22. Quel est le plus grand nombre négatif dans l'ensemble B = {m + n : (m, n) \in A} ?",-5,-4,-3,-2,B

eval_llm/MMLU-FR/data/dev/college_medicine_dev.fr.csv

@@ -0,0 +1,5 @@
+Le glucose est transporté dans la cellule musculaire :,par l'intermédiaire de transporteurs protéiques appelés GLUT4.,uniquement en présence d'insuline.,par l'intermédiaire de l'hexokinase.,par l'intermédiaire des transporteurs d'acide monocarboxylique.,A
+Lequel des énoncés suivants n'est pas vrai ?,Le glycogène musculaire est décomposé enzymatiquement en glucose-1-phosphate.,Les coureurs d'endurance d'élite ont une proportion élevée de fibres de type I dans les muscles des jambes.,Le glycogène hépatique joue un rôle important dans le maintien de la concentration de glucose dans le sang.,L'insuline favorise l'absorption du glucose par tous les tissus de l'organisme.,D
+Un test génétique effectué sur un nouveau-né révèle une maladie génétique rare à transmission récessive liée à l'X. Laquelle des affirmations suivantes est probablement vraie en ce qui concerne le pedigree de cette maladie ?,Tous les descendants du côté maternel seront atteints de la maladie.,"Dans cette famille, les femelles sont environ deux fois plus touchées que les mâles.",Toutes les filles d'un mâle atteint le seront également.,Les hommes et les femmes concernés seront répartis de manière égale.,C
+"Un professeur de sciences d'un lycée remplit une bouteille d'un litre d'azote pur et scelle le couvercle. La pression est de 1,70 atm et la température ambiante est de 25°C. Quelles sont les deux variables qui augmenteront la pression du système, si toutes les autres variables restent constantes ?","Augmentation de la température, augmentation des moles de gaz","Augmentation de la température, augmentation du volume","Diminution du volume, diminution de la température","Diminution des moles de gaz, augmentation du volume",A
+Un effet secondaire attendu de la supplémentation en créatine est :,faiblesse musculaire.,l'augmentation de la masse corporelle.,les crampes musculaires.,perte d'électrolytes.,B

eval_llm/MMLU-FR/data/dev/college_physics_dev.fr.csv

@@ -0,0 +1,5 @@
+Un télescope réfracteur est constitué de deux lentilles convergentes séparées de 100 cm. La lentille de l'oculaire a une longueur focale de 20 cm. Le grossissement angulaire du télescope est de,4,5,6,20,A
+Pour lequel des processus thermodynamiques suivants l'augmentation de l'énergie interne d'un gaz idéal est-elle égale à la chaleur ajoutée au gaz ?,Température constante,Volume constant,Pression constante,Adiabatique,B
+"Une extrémité d'un fil de Nichrome de longueur 2L et de section A est attachée à une extrémité d'un autre fil de Nichrome de longueur L et de section 2A. Si l'extrémité libre du fil le plus long est à un potentiel électrique de 8,0 volts et que l'extrémité libre du fil le plus court est à un potentiel électrique de 1,0 volt, le potentiel à la jonction des deux fils est presque égal à",2.4 V,3.3 V,4.5 V,5.7 V,A
+Un télescope réfracteur est constitué de deux lentilles convergentes séparées de 100 cm. La lentille de l'oculaire a une longueur focale de 20 cm. Le grossissement angulaire du télescope est de,4,5,6,20,A
+"Le muon se désintègre, avec une durée de vie caractéristique d'environ 10^-6 secondes, en un électron, un neutrino du muon et un antineutrino de l'électron. La loi de conservation des neutrinos interdit au muon de se désintégrer en un électron et un seul neutrino.",charge,masse,l'énergie et la quantité de mouvement,nombre de leptons,D

eval_llm/MMLU-FR/data/dev/computer_security_dev.fr.csv

@@ -0,0 +1,5 @@
+SHA-1 a un condensé de message de,160 bits,512 bits,628 bits,820 bits,A
+"_____________ peut modifier les données de votre système, de sorte qu'il ne fonctionne plus correctement ou que vous ne puissiez plus accéder à certaines données, ou encore demander une rançon pour vous permettre d'y accéder.",IM - Trojans,Chevaux de Troie à porte dérobée,Trojan-Downloader,Cheval de Troie de la rançon,D
+Qu'est-ce que le piratage éthique ?,"""Pirater l'éthique pour justifier un comportement égoïste involontaire","Piratage des systèmes (par exemple, lors de tests de pénétration) pour mettre en évidence les vulnérabilités afin qu'elles puissent être corrigées plutôt qu'exploitées.",Pirater des systèmes gérés par des personnes dont vous ne partagez pas l'éthique,"Terme argotique désignant le développement rapide de logiciels, par exemple dans le cadre de hackathons.",B
+L'exploitation du bogue Heartbleed permet,l'écrasement des clés cryptographiques en mémoire,une sorte d'injection de code,lecture en dehors des limites d'un tampon,une attaque par chaîne de format,C
+Le site ____________ est tout ce que votre moteur de recherche ne peut pas rechercher.,Web hanté,World Wide Web,Toile de surface,Web profond,D