Hub À propos
Projets CV

Création d’une application de traduction de symboles en réalité augmentée sur Unity


IA: Aucune utilisation d’IA dans ce projet.

Voir le projet sur GitHub

Contrat pour

· 2025 · Application Multimédia



Éléments physique de la salle: La Clef de l’Énigme
Modèle 3D: Guillaume Callebert
Librairie AR: Google

Avant de commencer...

Ce projet est un contrat réalisé pour mon employeur actuel, le jeu d’évasion La Clef de l’Énigme. Dans la pièce, un grand panneau mural et les coins des murs sont couverts de symboles. Mon mandat : créer une application pour tablette qui les reconnaît et affiche leur traduction en réalité augmentée, de façon fiable et simple pour tous.

Le processus

1. Recherche sur la réalité augmentée

Puisque je n’avais jamais travaillé avec la réalité augmentée, j’ai pris le temps de comprendre comment fonctionnent la détection d’images et le suivi dans l’espace avant de me lancer dans Unity. Comme l’application ne pouvait pas se permettre de bogues, il valait mieux bien comprendre la technologie dès le départ que de tout corriger par essais et erreurs.

Résultats de ma recherche sur la réalité augmentée

2. Collection et préparation des images de référence

La tablette reconnaît les symboles en les comparant à des images de référence, alors leur qualité détermine directement la fiabilité de la détection. J’ai donc pris des images nettes et propres, puis retiré tout ce qui n’avait pas besoin d’être détecté, puisque ces éléments auraient pu brouiller la reconnaissance et faire apparaître le modèle 3D au mauvais endroit.

After
Before

Préparation de l'image

3. Préparation de la recognition des symboles et du positionnement des objets

Le panneau est massif et ne peut pas être déplacé, ce qui m’empêchait de répéter mes tests directement dessus. J’ai donc commencé avec une image 2D que le logiciel pouvait reconnaître facilement, ce qui me permettait de faire mes premiers tests sans dépendre de l’objet et de valider la logique de détection et de positionnement avant de passer à l’objet réel.

Preuve de concept initial

Reproduction en 3D de l’objet

4. Reproduction en 3D des objets et traduction des symboles

Pour que l’effet soit convaincant, les joueurs doivent retrouver chaque symbole traduit exactement à l’endroit où se trouve le symbole d’origine, puisqu’un léger décalage suffit à créer de la confusion. J’ai donc porté une attention particulière à la précision de la reproduction 3D, afin que ce que représente le modèle soit clair au premier coup d’œil.

5. “Fine tuning” de la position et échelle

La tablette ne détecte jamais l’objet exactement à la même distance ni sous le même angle. J’ai donc rendu la position et l’échelle ajustables à l’aide de variables « serialized » dans Unity, ce qui me permettait de les affiner rapidement et avec précision une fois sur place, sans avoir à fouiller dans le code.

Première version en preuve de concept

Version finale corrigée

Positionnement précis avec des serialized fields

Les enjeux du projet

Le public visé était très large, et certaines personnes ont peu de connaissances technologiques. L’application devait donc fonctionner en tout temps, sans bogues et rapidement, tout en traduisant les symboles parfaitement pour que le modèle 3D soit compris tout de suite. S’y ajoutaient l’apprentissage d’une nouvelle technologie et l’impossibilité de tester librement sur l’objet réel.