La nouvelle version d’AGORHA : détails de choix d’usage et technologiques
Avant-propos
En prévision du lancement prochain de la nouvelle version d’AGORHA, nous avons publié sur ce carnet un premier billet retraçant l’historique d’AGORHA, l’application rassemblant les bases de données produites par l’Institut national d’histoire de l’art et ses partenaires.
Le présent billet a pour objectif de détailler les choix documentaires, techniques et d’usages qui ont orienté le projet de refondation d’AGORHA, plateforme des bases de données de l’INHA.
Il s’agit de donner à voir, sur le temps long – près de 15 ans ! – comment un tel projet d’ingénierie documentaire a évolué et s’est renouvelé. Ces deux billets s’inscrivent également dans la démarche d’ouverture engagée par l’INHA, en explicitant les principes qui nous ont guidés et les procédures que nous avons suivies.
Les images et exemples dans cet articles ne sont pas contractuels 😉
Repenser AGORHA : les grands axes stratégiques mis en œuvre
La nouvelle version d’AGORHA, qui va être dévoilée à l’automne 2021, est le fruit de trois années de travail et de réflexion, engagées en mai 2018. Alors que les technologies sous-jacentes à la première version d’AGORHA se montraient vieillissantes, il était apparu nécessaire de refonder totalement le socle applicatif, c’est-à-dire l’ensemble des logiciels mobilisés pour produire AGORHA tel que les internautes la connaissent.
Les choix effectués pour la refondation d’AGORHA découlent pour beaucoup des expérimentations menées au cours des années précédentes sur des projets spécifiques de l’INHA. Nous avons ainsi retenu des évolutions et développements qui avaient fait leurs preuves dans des réalisations numériques ponctuelles.
Le cas du Répertoires des ventes d’antiques est emblématique de ces expérimentations et de leur pérennisation dans la nouvelle version d’AGORHA.
Lorsque le projet Ventes d’Antique a été conçu, il apparaissait comme central d’offrir à la fois :
- une base de données avec une extrême finesse dans la modélisation et l’acquisition des données, où chaque information est segmentée dans un champ dédié, souvent alimenté par du vocabulaire contrôlé issu de thésaurus
- un espace éditorial permettant de publier de courts textes pour annoncer des actualités (tenue d’un colloque, mise en ligne de nouvelles notices, etc)..
- Encourager la réutilisation de données à l’extérieur de l’application afin de réaliser de nouveaux objets numériques pouvant toucher un autre type de public (data storytelling, etc.) ainsi que cela pu être réalisé sur le site https://ventesdantiques.inha.fr/ qui offre différentes data visualisations du parcours d’œuvres, de leur fabrication à leur lieu de conservation actuel, en passant par leur découverte et leur mise en vente sur le marché de l’art.
- inscrire ces données dans le Linked Open Data (LOD), c’est-à-dire les connecter à d’autres données, y compris en dehors d’AGORHA (par exemple sur Wikidata). A titre d’exemple, les dates de séjour des pensionnaires à la Villa Médicis ont été intégrées dans Wikidata après avoir aligner les entités Personnes d’AGORHA de la base de données des Envois de Rome. Voir cet article qui développe la méthodologie.
Ces différentes orientations ont été reprises pour former deux axes forts du développement du futur AGORHA : concilier la structuration de l’information des données en histoire de l’art et leur éditorialisation.
Cette double stratégie s’incarne concrètement dans un ensemble de nouvelles fonctionnalités. Nous avons choisi, pour ce billet, de vous présenter six évolutions majeures que vous pourrez découvrir dans le nouvel AGORHA.
Zoom sur quelques nouveautés du futur AGORHA
Faciliter la navigation dans AGORHA
Mieux mettre en valeur les différentes bases de données par l’éditorialisation et la singularisation.
Depuis l’origine AGORHA a été conçue comme une plateforme mutualisée pour des bases de données issues de programmes de recherche très différents. Ce principe fondateur de la mutualisation répondait à deux objectifs : d’abord, assurer la pérennité des données produites en facilitant la maintenance documentaire et technique et ensuite, favoriser les croisements fortuits et pertinents entre les objets documentaires (une même notice pouvant être mobilisée dans deux programmes, les données de l’un s’enrichissant des données de l’autre).
Dans le nouvel AGORHA, il s’agit de revendiquer cet héritage et principe fondateur, tout en assumant l’importance d’une individualisation propre à chacune des bases de données. C’est en effet la garantie de la « lisibilité » des productions de chaque programme de recherche, et de leur valorisation auprès des publics.
Les responsables des différents programmes peuvent ainsi, grâce à un ensemble de widgets, construire leur propre « page d’accueil » spécifique à chaque base de données, ou encore rédiger des articles et des actualités. L’objectif est ici d’offrir un espace éditorial au plus proche de la base de données permettant de « mobiliser » ces données structurées en leur ajoutant une dimension plus « textuelle » afin d’accompagner leur compréhension, de mettre en avant leurs caractéristiques les plus saillantes.
Fluidifier la circulation entre notices documentaires, données structurées et informations éditorialisées
Dans ces nouvelles pages d’éditorialisation (page d’accueil, articles, actualités), destinées à éditorialiser les données « brutes », il nous importait de garantir un lien réciproque entre le contenu éditorial et la base de données.
Ainsi le nouvel outil offre la possibilité d’insérer, dans un article ou une actualité, un bloc de contenu puisant dans les notices documentaires. Il est alors possible d’afficher un jeu de notices sous la forme d’une carte, d’une chronologie, d’un réseau ou d’une mosaïque d’images. Le fait de mobiliser telle ou telle notice documentaire dans un article génère automatiquement un lien vers cette ressource éditoriale dans la base de données. Ainsi, lorsque l’internaute consulte les notices documentaires correspondantes, il est immédiatement informé de leur réutilisation dans telle ou telle page éditorialisée.
Améliorer le moteur de recherche par l’auto-complétion
L’amélioration de l’interface de recherche pour les internautes usagers était un des objectifs forts de la refonte d’AGORHA. Des efforts particuliers se sont donc portés sur le moteur de recherche, dans lequel l’auto-complétion a été implémentée.
Lorsque l’internaute saisi un mot clé dans le champ de recherche, un volet s’ouvre en suggérant les réponses les plus pertinentes issues des différents types d’objets documentaires, à savoir œuvre, personne, référence, événement ou collection.
Dans l’exemple suivant, la recherche « Mallet-Stevens » renvoie à la fois la notice de la Villa Cavrois, la notice biographique de l’architecte mais également à des références bibliographiques.
Naviguer dans les résultats de recherche, à l’aide des filtres et des modes de visualisation
Lorsqu’il lance une recherche dans l’ensemble des bases, l’internaute peut ensuite réduire ses résultats de recherche à l’aide de filtres (dans le volet de gauche). Afin de ne pas perdre de vue les filtres sélectionnés, ceux-ci sont affichés en tête de page, sous forme d’étiquettes. Il est alors possible de supprimer un des filtres ou mots clés de recherche
D’autres formes d’affichage sont proposées, telles qu’un affichage chronologique ou encore un affichage cartographique.
Ces formes visuelles de représentation de l’information ont été délicates à mettre en place du fait même de la richesse et de la complexité de certaines de nos notices. Le choix a été fait d’afficher un objet documentaire autant de fois qu’il possède une information qualifiée permettant tel ou tel type d’affichage. Ainsi, si une notice d’un vase grec possède plusieurs informations pouvant être géolocalisées (lieu de création, lieu de découverte, lieu de vente, lieu de conservation actuelle), cette notice apparaîtra autant de fois dans la carte (avec pour chaque point la précision de la nature de l’information géolocalisée) avec un accès à la notice documentaire.
L’affichage d’une notice documentaire s’articule autour de 3 à 4 zones selon le profil de connexion comme le développe la capture ci-dessous:
Des notices améliorées : granularité de l’information et qualité des illustrations
La source l’information indiquée au plus près de la donnée
Jusqu’à présent, sur AGORHA, les sources bibliographiques et archivistiques étaient indiquées dans une seule rubrique de chaque notice, intitulée documentation. On y trouvait des références bibliographiques, des cotes d’archives ou encore des liens vers des ressources en ligne, sans que l’on puisse savoir, précisément, quelle information était tirée de quelle source.
Dans le nouvel AGORHA, les contributeurs (Les notices d’AGORHA sont alimentées par de nombreuses personnes : personnel scientifique de l’INHA, collaborateurs externes associés à des projets, vacataires et stagiaires, etc.) aux notices peuvent désormais associer une source précise à chaque assertion saisie. Cela permet une très grande finesse dans la granularité documentaire.
Prenons l’exemple d’une date de naissance renseignée dans une notice personne : il est possible d’y associer une source, soit une référence bibliographique, soit directement l’acte de naissance numérisé et accessible sur le site des archives départementales. L’internaute n’aura qu’à cliquer pour rebondir sur le document.
Proposer l’utilisation de référentiels en externes
Jusqu’à présent, les champs des notices étaient complétés par les contributeurs de trois façons : soit en saisissant du texte brut, soit en faisant le lien avec un objet documentaire déjà décrit dans AGORHA (par exemple, une notice personne indiquée comme auteur d’une notice œuvre) ou encore en sélectionnant une dénomination dans un thésaurus provenant de thesaurus.inha.fr.
Désormais, il est possible, pour certains champs de description, de faire appel à des réservoirs de données externes, comme Wikidata, ULAN ou encore les thesaurus du Ministère de la Culture. L’utilisateur dispose d’une fenêtre modale pour faire une recherche fédérée dans ces différents gisements de données et sélectionner le concept le plus adapté. AGORHA récupère alors la value (valeur lexicale du concept) ainsi que l’URI du concept.
Dépasser les fichiers jpeg pour illustrer les notices : de nouveaux types de médias
L’image est au cœur de nos disciplines, et, en quinze ans, l’offre de reproduction d’œuvres d’art en ligne a gagné en quantité (volume des numérisations), en qualité (résolution) et en réutilisabilité (licences ouvertes et dispositifs techniques). Il était indispensable que le nouvel AGORHA intègre ces nouveautés, en diversifiant les types de médias intégrables aux notices. Les notices illustrées sont en effet plébiscitées par les producteurs et usagers des bases AGORHA.
Deux nouvelles fonctionnalités importantes ont donc été intégrées :
- la possibilité d’importer via un moteur de recherche des images provenant de RMN-GP grâce à l’utilisation de l’API d’Images d’art
- la possibilité d’importer un manifeste IIIF provenant d’une institution culturelle. Ce protocole, dont nous avions déjà parlé dans plusieurs billets, permet de la ré-exploitation d’un ensemble important de corpus numérisés, mais aussi de pointer vers un détail d’une numérisation, de l’annoter, etc.
Exposer les données pour encourager la réutilisation
Afin de faciliter et d’encourager la réutilisation des données produites dans AGORHA, un effort tout particulier a été mis sur l’exposition des données et les possibilités d’export.
L’exposition des données se veut graduée, de formats classiques (CSV, OAI-PMH) à des formats plus professionnels (json).
Ainsi, un internaute qui veut exporter l’intégralité des résultats d’une recherche qu’il a formulée peut utiliser la fonctionnalité export CSV. Il téléchargera alors sous forme de tableur la totalité des champs de recherche de l’ensemble des résultats de sa requête. Un tel fichier, très complet, peut être lourd à manipuler.
C’est pourquoi un entrepôt OAI-PMH a quant à lui été conçu pour un affichage très simplifié, avec une sélection très réduite d’information au format Dublin core.
Les autres formats d’exposition sont régis par la négociation de contenu : ce mécanisme du protocole HTTP permet en effet de proposer une même ressource (identifiée par son URI) sous plusieurs formes différentes (différenciées par leur extension). Ainsi les ressources peuvent être exportées en json (selon les index Elastic), mais également sous un modèle RDF, avec plusieurs sérialisation disponible (RDF-XML notamment, mais surtout en JSON-LD).
Nous avons donc procédé à différents jeux de mapping afin d’utiliser plusieurs espaces de noms et notamment pour les principaux : schema, rdfs, prov, dc et crm
Coulisses du projet de refondation d’AGORHA
Les aspects administratifs d’une ré-informatisation
Un tel chantier que celui de la refonte d’AGORHA dépasse le cadre purement « technique » ou « informatique ». Il nécessite plusieurs phases préalables, telles que le recueil des besoins (à la fois auprès des contributeurs et des usagers), la définition d’une orientation stratégique, la définition d’un budget (validé par l’établissement) et la mise en place d’une gouvernance de projet (ici, le chantier a été porté conjointement par le service des systèmes d’information de l’INHA et la cellule d’ingénierie documentaire1, devenue en 2020 le service numérique de la recherche).
La phase suivante correspond au choix du prestataire qui va réaliser concrètement les outils et la migration des données. Cette étape est particulièrement délicate. Parmi les procédures de marché permises aux établissements publics, nous avons choisi la formule du dialogue compétitif. Nous avons été accompagnés dans cette démarche par une Assistance à Maitrise d’OuvrAge (AMOA) , assurée par la société Doxulting, ainsi que par le service des affaires juridiques et la direction générale de l’INHA.
Une présélection a permis de retenir trois entreprises candidates qui ont été invitées à réaliser un prototype, sur la base desquels le choix du prestataire final a été effectué. Il s’agit de la société Sword.
Architecture technique et choix des briques logicielles
Le choix principal a été de ne plus utiliser un progiciel métier mais d’assembler différentes briques fonctionnelles, en séparant l’espace de contribution, la gestion des thésaurus faite par une application externe dédiée, et l’interface publique, réalisée sur un site web géré par un CMS (content management system).
Ainsi, différentes briques logicielles (ou intégration de standard) ont été mobilisées.
Pour les thésaurus, l’utilisation de Ginco du Ministère de la Culture a permis de mettre en place une plateforme indépendante, thesaurus.inha.fr, qui permet de diffuser les thésaurus d’AGORHA mais plus généralement, ceux produits dans le cadre des missions de l’INHA (au-delà d’AGORHA). En effet, les thesaurus peuvent être des objets documentaires et scientifiques en soi et ne doivent pas être uniquement considérés comme une liste de valeurs ne servant qu’à de l’indexation de contenu.
Une longue reprise de données
Une fois l’ensemble des logiciels développés par Sword déployé sur nos serveurs, il a fallu transférer l’intégralité des données d’AGORHA vers les nouvelles applications (260 000 notices documentaires et 100 000 notices médias). Mais il ne s’agit pas d’un simple « déménagement » d’une base de données vers une autre. Il faut s’assurer de l’intégrité des données et en profiter pour corriger de nombreuses incohérences. C’est l’étape de la reprise de données, qui est toujours cruciale dans un projet de réinformation.
Elle se décompose en 3 temps :
- D’abord la modélisation de la nouvelle solution, c’est-à-dire penser l’architecture des données dans la nouvelle base.
- Ensuite la réalisation des mapping, c’est-à-dire de correspondances entre les deux architectures, et la transformation des données (pré-traitement et nettoyage) pour les adapter à la nouvelle solution. Cette étape est appelée dans le métier le data-wrangling.
- Enfin reprise de données finale, c’est-à-dire le transfert et les ultimes corrections.
L’étape dite de data-wrangling a été réalisée en interne. Pour le mapping et les transformations des données, nous avons utilisé la solution ETL Talend. La reprise de données finale, actuellement en cours, est l’objet de toutes nos attentions, afin de garantir une totale intégrité des données.
Les différents jobs et scripts post-reprise sont joués à partir de Jenkins, et les supervision de l’intégration dans les index Elastic Search est réalisé via Kibana.
Conclusion
Nous avons mis l’accent sur quelques axes forts de la redondation d’AGORHA, sans pour autant vouloir lister toutes les transformations opérées. D’autres articles complèteront ce premier panorama avant de pouvoir avant la fin de l’année 2021 pouvoir découvrir cette nouvelle AGORHA en production. Ainsi, nous espérons que les choix mis en avant dans cette nouvelle version d’AGORHA trouveront un écho auprès des chercheurs en histoire de l’art.
- Le SSI administre le réseaux et les serveurs et est rattaché aux services généraux de l’INHA tandis que le SNR se position au niveau du DER. [↩]
OpenEdition vous propose de citer ce billet de la manière suivante :
Antoine Courtin (12 juillet 2021). La nouvelle version d’AGORHA : détails de choix d’usage et technologiques. Numérique et recherche en histoire de l'art. Consulté le 12 novembre 2024 à l’adresse https://doi.org/10.58079/sgv1