Module 20 – Données erronées

Données erronées

Vous avez peut-être déjà été confronté à des « données erronées » au cours de votre carrière de chercheur, sans toutefois leur avoir donné de nom précis. On entend par « données erronées » tout type de données qui n’ont pas de sens et qui faussent le reste des données. Les données erronées apparaissent souvent lors du téléchargement et de la conversion des données d'un format à un autre, ou pendant le processus d'enregistrement, en cas de dysfonctionnement de l'appareil chargé d'effectuer les mesures.

Par exemple, une valeur manquante ou un « espace vide » constitue une donnée erronée, et cet espace vide peut être dû à une coupure de courant de courte durée sur l'appareil. Si elles ne sont pas détectées, les données erronées peuvent fausser les résultats et générer, entre autres, des graphiques inexacts. Savoir repérer les données erronées avant qu'elles ne posent problème est une compétence essentielle.

C'est important car les données erronées ressemblent souvent à des données normales pour les machines et ne sont donc pas filtrées. Dans certains cas, ces erreurs sont même si subtiles que de nombreuses personnes ne les repéreraient pas au premier coup d'œil. Les données erronées constituent un problème suffisamment grave pour que le fait de les ignorer puisse compromettre le projet, en raison des inexactitudes qu'elles introduisent dans l'ensemble de données.

Lors de l’élaboration de votre plan de gestion des données, vous devez prévoir des dispositions pour traiter les données erronées : à qui reviendra-t-il de repérer et de nettoyer ces données, et quel temps et quelles ressources devrez-vous prévoir pour ce processus ? Même si les données erronées ne sont pas inévitables, il est probable que vous en rencontriez au moins quelques-unes au cours de votre projet, tout simplement parce que les machines sont imparfaites. C’est là qu’interviennent l’assurance qualité et le contrôle qualité (AQ/CQ). Il arrive parfois qu’une organisation dispose d’une équipe dédiée à l’AQ/CQ, chargée d’examiner et de traiter les données erronées. Cependant, si votre équipe est réduite ou si votre institution est de petite taille, vous devrez probablement vous charger vous-même du contrôle qualité.

Exemple de données erronées

Les données suivantes ne constituent qu'une très petite sélection des données provenant de la bouée de la baie d'Exploits. Si vous souhaitez consulter l'ensemble complet des données, veuillez cliquer iciici. Il a été modifié afin d'illustrer un exemple de données erronées. L'ensemble complet des données est correct.

Activité :

Voyez-vous en quoi ces données sont « erronées » ?

Ce jeu de données comporte plusieurs endroits où les données sont erronées ! Le premier, et le plus facile à repérer, est l'espace vide dans la colonne « vitesse du vent ». Ces données erronées pourraient provenir d'une erreur lors de la saisie du chiffre, qui n'aurait pas été enregistré, ou d'une erreur lors du transfert des données vers le tableau. Dans certains cas, il est possible de retrouver et de compléter les données manquantes dans un ensemble. S'il y avait eu d'autres bouées, par exemple, dans la zone, il serait possible de calculer une moyenne ou une estimation de la vitesse du vent à ce moment de la journée.

Les autres données erronées du tableau sont des données qui, techniquement, y figurent, mais qui n’ont aucun sens ! On recense trois cas de ce type dans le tableau. Les deux premiers sont très évidents : une vitesse de vent de -5 et une température de surface de -274 °C sont deux valeurs impossibles. La première valeur parce qu'il est impossible que la vitesse du vent soit négative, et la seconde non seulement parce qu'elle présente un écart absurde par rapport à toutes les autres, mais aussi parce qu'elle est inférieure au zéro absolu, une température qui n'existe nulle part dans l'univers.

La 3e^rd est toutefois envisageable et correspond à une température qui pourrait raisonnablement exister, mais elle est nettement supérieure aux autres températures figurant dans les sections de données non erronées. 3,5 est bien plus élevé, surtout si l’on examine davantage la source de données, où il apparaît clairement que la température moyenne reste dans une fourchette étroite de fluctuations qui n’inclut pas un tel écart.

Le dernier type de données erronées à prendre en compte concerne la distinction entre les données nulles et les données égales à 0. Une valeur enregistrée égale à 0 alors qu’aucune mesure n’a été effectuée (ou n’a pu l’être en raison d’un dysfonctionnement des instruments) constitue également une donnée erronée, car ce zéro peut être interprété comme un chiffre, alors qu’il représente en réalité une valeur nulle ou un dysfonctionnement. Pour ce type de données erronées, il est important de comprendre comment vos instruments enregistrent les données et si les valeurs nulles sont enregistrées sous forme d’espaces ou de zéros – il convient également de garder cela à l’esprit lors de la conversion des données vers différents formats, par exemple lors d’un téléchargement au format CSV, en vérifiant si cette opération enregistre les valeurs nulles sous forme d’espaces ou de zéros.

Ce type de données erronées est plus subtil, et c'est pourquoidictionnaires de données sont indispensables, tout comme les moyennes attendues. Les dictionnaires de données vous aideront à déterminer si des données sont suspectes parce qu’elles se situent en dehors des fourchettes normales.

Un dictionnaire de données est un type de métadonnées.Ces dictionnaires décrivent et définissent les données mesurées par un instrument ainsi que le type de données qu’il génère. Ils répertorient les relations entre chaque source de données ainsi que les écarts-types. Bon nombre d’entre eux définissent également des règles d’interprétation des données générées, ce qui permet au chercheur de déterminer avec plus de certitude quelles données sont erronées et lesquelles, bien que réelles, constituent simplement des valeurs exceptionnelles.

Dans le secteur océanographique, le programme « Quality Control of Real Time Oceanographic Data » (QARTOD) est un programme d'assurance qualité et de contrôle qualité (AQ/CQ) créé et dirigé par l'IOOS US. Il propose des manuels pour différents instruments, qui décrivent les meilleures pratiques permettant d'évaluer la qualité des données océanographiques selon différents paramètres, tels que la salinité ou le pH.

Si vous souhaitez consulter certains des dictionnaires de données QARTOD, vous pouvez les trouverici.