Enjeux scientifiques

« Précédent | Synthèse focus: enjeux économiques focus: enjeux scientifiques focus: perspectives de déploiement focus: critères de réussite | Suivant »

Publié le 10/08/2009, modifié le 10/08/2009

1 / Annotation créative et collaborative combinant données de catalogage et d’indexation et annotation par l’usager

Contexte

Au sein d’une organisation mettant à disposition un corpus de films et leurs notices, les chercheurs / amateurs qui utiliseront les outils de lecture active pourront :

  • mener des recherches dans les bases proposées ;
  • partager leurs annotations personnelles (e.g. mon découpage narratif) ;
  • publier celles-ci sous forme d’analyses (e.g. ma lecture de la narration d’un film, appuyée sur mon découpage) ;
  • partager leurs schémas de description personnels (eg. mes catégories de description, par ex. événements et actants).

Au niveau plus collectif les utilisateurs pourront se regrouper pour collaborer à une analyse, co-construire leurs lectures d’un film, leurs annotations, leurs schémas de description, etc. Les annotations partagées pourront être utilisées par l’institution pour enrichir ses propres modes de description : les retours utilisateurs (annotations, schémas de description, modes d’analyses filmique) peuvent être intégrés par l’institution une fois validés.

Verrous spécifiques

  • Partage de modes de description et de visualisation, construction collaborative d’analyses, co-construction de connaissances ;
  • étude de l’émergence de descripteurs et de pratiques de description comme connaissances métiers liées à des communautés de pratiques ;
  • articulation entre annotations institutionnelles et annotation personnelles (institutions/utilisateurs).

Lever ces verrous dans le projet

  • Avec une approche globale et commune pour les formats de données, permettant de spécifier:
    • les schémas de description (connaissances abstraites) ;
    • les annotations (connaissances décrivant un film particulier) ;
    • les vues (connaissances décrivant des modes d’utilisation des annotations et des films). Ce format, permettant d’articuler annotations temporellement situées et description documentaires globales (notices, bases, etc.), permettra d’assurer l’interopérabilité des outils et des bases existantes.
  • En proposant des scénarios applicatifs en lien avec les partenaires institutionnels et industriels permettant de valider les différents points considérés, en réalisant concrètement ces scénarios de construction et de partage d’annotations et de lectures individuelles et collectives, en testant et en validant les outils réalisés.
  • En mettant en place des outils de monitoring d’une part des descripteurs, schémas et vues proposés, d’autre part des différentes communautés concernées, et en étudiant / concevant avec les institutions des modes d’évolution de leurs schémas et descriptions issus de ces outils.

2 / Intégration de technologies d’extraction de connaissance dans un processus d’annotation manuelle, apprentissage des retours utilisateurs

Contexte

On dispose dans ce projet de technologies permettant d'associer automatiquement à un élément de vidéo (image clé, plan, etc.) un ensemble d'annotations qui caractérise l'information transmise par le média. Ces annotations, une fois indexés, sont à la base des outils de gestion automatisée. La pertinence de ces annotations automatiques (sémantiques et structurelles) varie grandement selon le niveau de représentation et d’abstraction ciblé. Elles sont pour certaines acceptables pour des applications industrielles (localisation de visage, classification en intérieur/extérieur ou jour/nuit) avec quelques hypothèses de régularité sur les contenus. En revanche, d’autres caractéristiques comme les limites de scènes ou des classifications plus précises des lieux sont aujourd’hui complexes à obtenir automatiquement et sont sujettes à erreurs (précision inférieure à 70%). D’autre part, une partie des annotations actuellement fournis à la main par les documentalistes ne peuvent pas être traités automatiquement par les algorithmes de classification supervisée. C’est le cas par exemple de l’annotation « personnages présents à l’image ». En effet, la reconnaissance d’un visage suppose de disposer d’une base d’apprentissage de ce visage et il n'est pas encore envisageable de disposer d’une telle base pour l'ensemble des acteurs du cinéma. Dans ce cas une annotation par lot est proposée. C'est à dire que le documentaliste associera des méta-données complexes à plusieurs plans éloignés dans le temps du film et regroupés automatiquement au sein d'un même lot. L'objectif est de réconcilier productivité et qualité de l'annotation, toutes deux nécessaires pour des applications professionnelles, aussi bien dans le domaine de la diffusion de programmes que celui de la critique des œuvres.

Verrous spécifiques

L’un des verrous que le projet s’attache à lever est de combiner les gains de productivité attendus de l’utilisation des technologies d’annotation automatique dans un processus manuel qui préserve la pertinence, la finesse et la souplesse d’une annotation manuelle. Pour ce faire plusieurs verrous spécifiques restent à lever:

  • annotation sémantique des plans de vidéo ;
  • annotation du découpage en séquence ;
  • interaction utilisateur pour la validation des annotations automatiques ;
  • constitution des lots pour l'annotation par lots ;
  • interaction avec l'utilisateur lors de l'annotation par lots ;
  • recalage des annotations dans le cadre du partage d'annotations entre différents organismes possédant des versions potentiellement différentes d'un film.

Lever ces verrous dans le projet

  • Afin d'améliorer l'annotation sémantique des plans de vidéo, il est prévu de développer l'apprentissage des concepts de classification par combinaison de classifieurs élémentaires (« Boosting ») ;
  • l'annotation du découpage en séquence sera fondé sur les modèles de « dynamisme perceptif » développé au CEA. Sur la base d'un premier découpage en plan, ils combineront les informations fournies par les utilisateurs et par l'annotation sémantique, ainsi que les informations textuelles fournies par le sous-titrage pour isoler des séquences sémantiques au sein des vidéos ;
  • l'interaction pour la validation des annotations automatiques sera fondé sur une interaction en cycle court avec l'utilisateur. Après une première phase de pré-annotation automatique (sémantique et structurelle) des validations/corrections de l’utilisateur seront exploitées pour améliorer les annotations automatiques ;
  • Dans un deuxième temps, dans le cadre d'un cycle plus long, l'exploitation des validations humaines permettra de relancer de modifier les modèles d'apprentissages afin d'adapter les modèles aux nouvelles vidéos par bouclage de pertinence (relevance feedback) et ainsi d'améliorer les performances de l’annotation automatique ;
  • la constitution de lots sera fondé sur des algorithmes de classification non-supervisé (« clustering ») capables de regrouper les plans selon certaines caractéristiques fixées par l’utilisateur (signature des visages et des lieux dans le cadre du projet) ;
  • une interaction en cycle court avec l'utilisateur proposera plusieurs lots de plans regroupés selon les caractéristiques désirées. L'utilisateur devra alors modifier et valider ces lots pour associer aux plans inclus dans ces lots l'annotation désirée (nom d'un lieu ou d'un personnage) ;
  • afin de recaler les annotations entre plusieurs versions de films, une analyse rapide des images et/ou du son par des descripteurs numériques simples (histogrammes couleurs et MFCC) permettra de rapprocher des segments identiques dans les deux versions.

3 / Larges bases d’archives : mémorisation et partage de ses « traces » de lecture à travers les corpus et les descriptions

Contexte

La navigation dans un corpus, la navigation dans un film, l’activité d’annotation peuvent être tracées dans la base de traces personnelles de l’utilisateur. Ces traces personnelles servent d’abord à l’utilisateur comme historique amélioré de son activité. Elles peuvent également être documentarisées en publications personnelles, c’est-à-dire transformées semi-automatiquement (une partie de la trace est sélectionnée, transformée en texte, corrigée / amendée par l’utilisateur) en documents qui pourront alors être partagés comme parcours guidés. Elles peuvent être partagées en tant que telles, afin de construire des « traces de groupes », et être documentarisées en publications communes. Elles pourront enfin (sous réserve d’anonymisation, d’accord des utilisateurs, etc.) servir à évaluer l’utilisation des outils mis en place et des corpus de l’institution.

Verrous spécifiques

Les pratiques proposées ici sont non existantes à ce jour, même si elles se dessinent clairement dans les tendances du web actuel (twitter, lifelogs, etc).

Cette thématique est donc plus exploratoire que les autres, parmi les verrous, on notera

  • Au niveau technique : la mise en place d’une collecte de traces distribuées à l’échelle des applications proposées, la mise en place d’un Système de Gestion de Base de Traces (SGBT) centralisé ou distribué, avec les moteurs de requête associés ;
  • au niveau modélisation des connaissances : la proposition de modes de documentarisation adaptés aux pratiques de partage associées (partager mon parcours, partager mon utilisation de l’outil, etc.), la proposition de modèles de traces de groupes construits à partir des trace individuelles ;
  • au niveau interaction : outils de visualisation de traces personnelles et de groupe, outils de documentarisation.

Lever ces verrous dans le projet

  • Construction d’un SGBT ;
  • scénarisation, modélisation, réalisation d’une chaîne complète de traçage (sondes, collecte), visualisation de trace, documentarisation de traces sur un ou plusieurs prototypes / terrains considérés comme exemplaires, mettant en jeu trace individuelle et trace de groupe (entre 2 et une dizaine d’utilisateurs). Expérimentation / validation au niveau trace individuelles et traces collectives ;
  • maquettage itératif des outils de visualisation / documentarisation de traces.

4 / Transmission/conservation des annotations/structure d'un lieu et d'un contexte à l'autre

Contexte

Un amateur peut passer d’une bibliothèque à l’autre au cours de son activité. Il peut travailler chez lui et consulter ses données depuis l’extérieur de la bibliothèque. Il peut également être abonné Univers Ciné et avoir un compte sur le Réseau Social du Cinéma ou chez Allociné. L’enjeu d’interopérabilité du projet réside dans la possibilité de conserver ses informations personnelles (annotations, analyses, schémas de description, parcours) d’un site à l’autre, d’un réseau social à l’autre.

Verrous spécifiques

Les verrous associés à cet enjeu industriel sont technologiques :

  • gestion de l’inévitable disparité des versions d’un film chez différents fournisseurs institutionnels ou de VoD ;
  • gestion des données des utilisateurs dans un système décentralisé mis en œuvre par différentes institutions et industriels ;
  • lien annotations à une vidéothèque personnelle ou à des films disponibles en vod ;
  • lien avec des sites externes au projet (eg. wikipedia).

Lever ces verrous dans le projet

  • Format commun pour les annotations, schémas, vues ;
  • Imports / exports toujours possibles ;
  • interopérabilité systématique entre les prototypes et avec les sites externes ;utilisation de standards existants ou en cours de spécification (participation à des groupes de travail) ;
  • composants communs (par exemple web) réutilisables dans les sites des partenaires ;
  • recalage d’annotations à base de caractéristiques de bas-niveau image et son ;
  • possible constitution d’une base commune de description de films.

« Précédent | Synthèse focus: enjeux économiques focus: enjeux scientifiques focus: perspectives de déploiement focus: critères de réussite | Suivant »

Publié le 10/08/2009, modifié le 10/08/2009