A Gaze into the Art World : Predicting Visual Attention Using Deep Learning
Le patrimoine culturel, pierre angulaire de l'identité sociétale et historique, exige une compréhension approfondie et une préservation complète afin de relier efficacement le passé et le présent. Les peintures, allant de l'art rupestre préhistorique aux œuvres contemporaines modernes, con...
Enregistré dans:
| Auteur principal: | |
|---|---|
| Autres auteurs: | , , , , , , |
| Format: | Thèse numérique |
| Langue: | Anglais Français |
| Publié: |
2024.
|
| Sujets: | |
| Accès en ligne: | Accès au texte intégral https://theses.univ-orleans.fr/public/2024ORLE1070_va.pdf http://www.theses.fr/2024ORLE1070/abes https://theses.hal.science/tel-04999217 |
| Note: |
Titre provenant de l'écran-titre Ecole(s) Doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....) Partenaire(s) de recherche : Laboratoire Pluridisciplinaire de recherche en ingénierie des systèmes, mécanique et énergétique (Orléans ; 2008-....) (Laboratoire) Autre(s) contribution(s) : Patrick Le Callet (Président du jury) ; Olivier Le Meur, Lu Zhang, Sylvie Treuillet, Frédéric Dufaux, Sabine Süsstrunk (Membre(s) du jury) ; Olivier Le Meur, Lu Zhang (Rapporteur(s)) |
| Autres localisations: | Voir dans le Sudoc |
| Variante du titre: | Un regard sur le monde de l'art :, Prédire l'attention visuelle à l'aide de l'apprentissage profond |
| Résumé: | Le patrimoine culturel, pierre angulaire de l'identité sociétale et historique, exige une compréhension approfondie et une préservation complète afin de relier efficacement le passé et le présent. Les peintures, allant de l'art rupestre préhistorique aux œuvres contemporaines modernes, constituent une part significative de ce patrimoine. Elles font l'objet d'un examen continu sur les fronts historique, artistique et technologique. Comme l'art incarne le zénith de l'intelligence et de la créativité humaines, l'étude du comportement cognitif humain en réponse aux peintures a gagné une considérable attraction. Cette thèse explore l'étude du comportement visuel humain à travers le prisme des technologies de suivi oculaire. Étant donnée la rareté des données accessibles au public, nous avons rassemblé un ensemble riche de données qui englobe diverses écoles artistiques et mouvements, et qui présente des peintures avec des degrés variés de réalisme et d'abstraction. Nous avons proposé plusieurs méthodologies basées sur des réseaux neuronaux profonds pour la prédiction de la trajectoire du regard et de la saillance, dans le but de modéliser le comportement de l'attention visuelle. Notre attention s'est portée sur l'amélioration de la capacité représentationnelle du modèle dans le domaine de la peinture, compte tenu de ses propriétés uniques par rapport aux scènes naturelles. À cette fin, nous avons employé des techniques telles que l'adaptation de domaine non supervisée et l'apprentissage auto-supervisé. Nos modèles intègrent plusieurs biais inductifs basés sur la théorie de l'attention visuelle. L'objectif de cette thèse est double : contribuer à la recherche en offrant un ensemble de données public sur l'art et le suivi oculaire, et introduire des méthodes novatrices de modélisation basées sur l'apprentissage en profondeur adaptées au domaine de la peinture. Cultural heritage, a cornerstone of societal and historical identity, necessitates a comprehensive understanding and preservation to effectively bridge past and present. Paintings, spanning from prehistoric cave art to modern contemporary pieces, form a significant part of this heritage. They are subject to continuous scrutiny on historical, artistic, and technological fronts. As art embodies the zenith of human intelligence and creativity, the study of human cognitive behavior in response to paintings has gained considerable attraction. This thesis delves into the exploration of human visual behavior through the lens of eye-tracking technologies. Given the scarcity of publicly accessible data, we have amassed a rich dataset that encapsulates various art schools and movements, featuring paintings with diverse degrees of realism and abstraction. We have put forth several deep neural network-based methodologies for gaze trajectory and saliency prediction, aiming to model visual attention behavior. Our focus has been on enhancing the model's representational capacity within the painting domain, given its unique properties compared to natural scenes. To this end, we have employed techniques such as unsupervised domain adaptation and self-supervised learning. Our models incorporate several inductive biases based on visual attention theory. The objective of this thesis is twofold: to contribute to research by offering a public art and eye-tracking dataset, and to introduce novel deep learning-based modeling methods tailored for the domain of paintings. |
|---|---|
| Description: | Titre provenant de l'écran-titre Ecole(s) Doctorale(s) : École doctorale Mathématiques, Informatique, Physique Théorique et Ingénierie des Systèmes (Centre-Val de Loire ; 2012-....) Partenaire(s) de recherche : Laboratoire Pluridisciplinaire de recherche en ingénierie des systèmes, mécanique et énergétique (Orléans ; 2008-....) (Laboratoire) Autre(s) contribution(s) : Patrick Le Callet (Président du jury) ; Olivier Le Meur, Lu Zhang, Sylvie Treuillet, Frédéric Dufaux, Sabine Süsstrunk (Membre(s) du jury) ; Olivier Le Meur, Lu Zhang (Rapporteur(s)) |
| Format: | Configuration requise : un logiciel capable de lire un fichier au format : PDF |