Un accès simplifié à l’IA dans le football

L’IA est déjà présente sur le terrain de football. Elle analyse les différentes phases de jeu ou aide les arbitres à déterminer s'il y a eu ou non hors-jeu. La détection semi-automatique du hors-jeu (SAOT) est utilisée par les arbitres assistants vidéo (VAR) pour prendre des décisions plus justes. Le système fonctionne avec un suivi numérique des mouvements et des positions des joueurs en temps réel.

Jusqu'à présent, seuls les grands tournois de football peuvent se permettre d'utiliser un système assisté par ordinateur. En effet, celui-ci est complexe et coûteux : chaque stade a besoin de dix à douze caméras statiques qui filment l'action sous différents angles. « Toutes les caméras doivent être parfaitement synchronisées pour obtenir une image numérique précise », explique Tianjian Jiang, doctorant en informatique.

Ce scientifique mène ses recherches au laboratoire Advanced Interactive Technologies (AIT) de l’EPFZ. Avec d'autres collègues, il aide la Fédération internationale de football (FIFA) à trouver des solutions techniques pour améliorer l'accès à l’IA dans ce sport. L'idée de base est de simplifier le système de manière qu'une seule caméra suffise au lieu de plusieurs. 

Mais il faudra encore quelques années pour que l'analyse vidéo d'un match fonctionne de manière fiable avec une seule caméra. Toutefois, le laboratoire AIT a désormais franchi une étape décisive : les chercheurs ont entièrement numérisé près de 50 minutes d'enregistrements vidéo de différents matchs de la Coupe du monde de football 2022.

L'ensemble de données de l’EPFZ, appelé WorldPose, contient plus de 2,5 millions de positions individuelles de joueurs en 3D. Il est ainsi possible de capturer et d'analyser simultanément tous les joueurs de champ des deux équipes, de déterminer où ils se trouvent et ce qu'ils font avec ou sans ballon.

Dans le domaine de l'apprentissage automatique, on parle d'« estimation de pose ». Contrairement aux humains, les ordinateurs ne peuvent pas voir. Ils doivent utiliser des données pour localiser les personnes ou objets dans une pièce et suivre leurs déplacements.

Grâce à un entraînement constant, l'ordinateur apprend à saisir et à interpréter des infos à partir de sources d'images et de vidéos. Cette vision nécessite, comme on l’a dit, de grandes quantités de données. L'ordinateur analyse celles-ci encore et encore jusqu'à ce qu'il identifie les différences et reconnaisse finalement des modèles. Ainsi, les algorithmes permettent à la machine d'apprendre par elle-même plutôt que d'être programmée par un être humain.

Il existe déjà des méthodes capables de calculer des objets et des corps en trois dimensions directement à partir d'une image en deux dimensions. Dans le cas de la « Monocular Pose Estimation » (MPE) – « estimation de la pose avec un seul objectif » – un ordinateur reconnaît, à partir les images d'une seule caméra, où se trouvent les personnes ou les objets dans l'espace, respectivement comment et où ils se déplacent. L'ordinateur analyse donc la posture et la trajectoire du corps sans informations en profondeur, comme le feraient une ou plusieurs caméras 3D.

Jusqu'à présent, les méthodes MPE sont devenues très performantes pour prédire les poses des joueurs individuels. Mais elles ont des difficultés à détecter et à suivre plusieurs personnes à la fois, surtout sur de grandes distances, comme celles parcourues par les footballeurs pendant un match de 90 minutes. « Nous voulions trouver un algorithme qui soit suffisamment précis, même sur de grandes distances », explique Jiang.

La FIFA a approché l’EPFZ en 2021 et a souhaité disposer d'un ensemble de données afin de pouvoir entraîner les ordinateurs à estimer les poses. Elle voulait en outre savoir ce que valaient réellement les méthodes MPE utilisées jusqu'à présent. Pour ce faire, la Fédération internationale de football a mis à la disposition des chercheurs différentes séquences vidéo de la Coupe du monde de football 2022 au Qatar, filmées par différentes caméras (fixes et mobiles). A cela se sont ajoutées d'autres données, comme les dimensions exactes du terrain de jeu des différents stades.

La tâche qu’ont occupée les chercheurs de l’EPFZ pendant trois ans est une éternité dans le monde rapide de l'IA. « Au début, nous pensions disposer rapidement d'un ensemble de données exactes », se souvient Jiang. « Nous disposions déjà à l'époque d'un système capable de représenter les poses et les mouvements avec une grande précision numérique et nous pensions qu'il serait facile de l'appliquer aux enregistrements de la Coupe du monde. »

Puis ils ont rapidement constaté qu'il y avait une grande différence entre la numérisation de séquences individuelles et l'application du système à un ensemble de données plus important. Les défis techniques incluaient le masquage mutuel des joueurs, le flou de mouvement, les problèmes d'étalonnage des caméras, ainsi que les distorsions et le zoom des unités de transmission.

Pour s'assurer que les joueurs « réel » et « numérique » se superposent exactement, les chercheurs ont d'abord dû calibrer les enregistrements analogiques des différentes caméras statiques d'un stade – avec des angles de vue différents – et les faire correspondre. L'étalonnage a permis de déterminer avec précision les caractéristiques spécifiques de chacune d’elles, comme la distance focale ou la taille du capteur, et de la régler de manière qu'elle saisisse la réalité le plus précisément possible. En effet, chaque caméra présente certaines distorsions dues à son optique, par exemple pour la représentation de lignes droites.

Ensuite, des lignes de référence numériques ont été superposées à l'image comme aide visuelle. Cet « empilement » a révélé si le calibrage fonctionnait bien ou s'il y avait encore des distorsions. « Si l'étalonnage est correct, la ligne de champ numérique se superpose parfaitement à la ligne de champ réelle, quel que soit l'angle de vue », relève Jiang.

Sur la base des paramètres parfaitement coordonnés des caméras statiques, l'ordinateur pourra alors estimer les poses et les trajectoires des joueurs. Grâce au modèle SMPL, couramment utilisé en vision par ordinateur, le corps numérique est représenté de manière à être le plus proche possible de l'original humain.

La caméra de transmission mobile est dorénavant « alimentée » avec ces données. Elle est aussi calibrée, par exemple, déplacée dans toutes les directions, et un zoom avant et arrière peut être assigné. Si la superposition des données réelles et numériques est correcte, la position exacte, la trajectoire et l'attitude de chaque joueur sur la pelouse peuvent être représentées numériquement en trois dimensions – et ce, avec une seule caméra.

Sur la base de leur jeu de données, les chercheurs ont pu comparer en détail si une seule caméra détecte suffisamment bien ou non une position de hors-jeu avec la technologie MPE actuelle. Dans leur étude, présentée lors de l'European Conference on Computer Vision à Milan, les informaticiens sont arrivés à la conclusion que les méthodes existantes sont dépassées par ce nouveau « jeu de données » et ils ont indiqué de nouvelles directions de recherche possibles.

Certes, les estimations de poses avec une seule caméra peuvent déterminer très précisément les positions et les mouvements des corps dans un petit espace, même avec une grande distance focale ou un grand espace entre une personne et la caméra. Les modèles MPE obtiennent également des résultats relativement bons pour les mouvements individuels, mais ont des difficultés à déterminer les positions relatives de plusieurs joueurs dans la même pièce. Le zoom avant et arrière s'est avéré particulièrement exigeant. « Cela nous a confirmé qu'il faut encore beaucoup de recherche pour obtenir un système fonctionnel et stable », souligne Jiang.

L'ensemble des données de WorldPose doit maintenant permettre à d'autres scientifiques d'entraîner leurs systèmes et de développer des algorithmes afin qu'une analyse IA précise soit possible à l'avenir avec une seule caméra mobile. Pour ce faire, la FIFA a créé et lancé un concours d’innovation à cet effet. Par ailleurs, la fédération de football met à disposition pour cette compétition internationale des séquences vidéo de matchs, mais cette fois-ci uniquement à partir d’une caméra de transmission.

« Partager les données avec d'autres pourrait accélérer la recherche dans ce domaine », ajoute encore le chercheur. « Si les modèles analysés avec précision par une seule caméra sont un jour d'une qualité similaire à celle de notre jeu de données, la technologie sera largement utilisable. »

À ce jour, plus de 150 chercheurs internationaux ont répondu à l’appel de ce challenge et l’EPFZ continue également d'affiner ses systèmes. Tianjian Jiang l’assure : « Nous allons poursuivre nos travaux sur ce « jeu de données » et développer d'autres modèles en interne. »