Local Analytic and Global Convex Methods for the 3D Reconstruction of Isometric Deformable Surfaces
Méthodes Analytiques Locales et Méthodes Globales Convexes pour la Reconstruction 3D de Surfaces Isométriquement Déformables
Résumé
This thesis contributes to the problem of 3D reconstruction for deformable surfaces using a single
camera. In order to model surface deformation, we use the isometric prior because many real object
deformations are near-isometric. Isometry implies that the surface cannot stretch or compress. We
tackle two different problems.
The first is called Shape-from-Template where the object’s deformed shape is computed from a
single image and a texture-mapped 3D template of the object surface. Previous methods propose a
differential model of the problem and compute the local analytic solutions. In the methods the solution
related to the depth-gradient is discarded and only the depth solution is used. We demonstrate that
the depth solution lacks stability as the projection geometry tends to affine. We provide alternative
methods based on the local analytic solutions of first-order quantities, such as the depth-gradient or
surface normals. Our methods are stable in all projection geometries.
The second type of problem, called Non-Rigid Shape-from-Motion is the more general templatefree
reconstruction scenario. In this case one obtains the object’s shapes from a set of images where
it appears deformed. We contribute to this problem for both local and global solutions using the perspective
camera. In the local or point-wise method, we solve for the surface normal at each point
assuming infinitesimal planarity of the surface. We then compute the surface by integration. In the
global method we find a convex relaxation of the problem. This is based on relaxing isometry to inextensibility
and maximizing the surface’s average depth. This solution combines all constraints into
a single convex optimization program to compute depth and works for a sparse point representation
of the surface.
We detail the extensive experiments that were used to demonstrate the effectiveness of each of
the proposed methods. The experiments show that our local template-free solution performs better
than most of the previous methods. Our local template-based method and our global template-free
method performs better than the state-of-the-art methods with robustness to correspondence noise.
In particular, we are able to reconstruct difficult, non-smooth and articulating deformations with the
latter; while with the former we can accurately reconstruct large deformations with images taken at
very long focal lengths.
Cette thèse contribue au problème de la reconstruction 3D pour les surfaces déformables avec une
seule caméra. Afin de modéliser la déformation de la surface, nous considérons l’isométrie puisque
de nombreuses déformations d’objets réels sont quasi-isométriques. L’isométrie implique que, lors
de sa déformation, la surface ne peut pas être étirée ou compressée. Nous étudions deux problèmes.
Le premier est le problème basé sur une modèle 3D de référence et une seule image. L’état
de l’art propose une méthode locale et analytique de calcul direct de profondeur sous l’hypothèse
d’isométrie. Dans cette méthode, la solution pour le gradient de la profondeur n’est pas utilisée.
Nous prouvons que cette méthode s’avère instable lorsque la géométrie de la caméra tend à être
affine. Nous fournissons des méthodes alternatives basées sur les solutions analytiques locales des
quantités de premier ordre, telles que les gradients de profondeur ou les normales de la surface. Nos
méthodes sont stables dans toutes les géométries de projection.
Dans le deuxième type de problème de reconstruction sans modèle 3D de référence, on obtient
les formes de l’objet à partir d’un ensemble d’images où il apparaît déformé. Nous fournissons des
solutions locales et globales basées sur le modéle de la caméra perspective. Dans la méthode locale ou
par point, nous résolvons pour la normale de la surface en chaque point en supposant que la surface
est infinitésimalement plane. Nous calculons ensuite la surface par intégration. Dans la méthode
globale, nous trouvons une relaxation convexe du problème. Celle-ci est basée sur la relaxation de
l’isométrie en constrainte d’inextensibilité et sur la maximisation de la profondeur en chaque point
de la surface. Cette solution combine toutes les contraintes en un seul programme d’optimisation
convexe qui calcule la profondeur et utilise une représentation éparse de la surface.
Nous détaillons les expériences approfondies qui ont été réalisées pour démontrer l’efficacité
de chacune des méthodes. Les expériences montrent que notre solution libre de modèle de réference
local fonctionne mieux que la plupart des méthodes précédentes. Notre méthode local avec un modèle
3D de réference et notre méthode globale sans modèle 3D apportent de meilleurs résultats que les
méthodes de l’état de l’art en etant robuste au bruit de la correspondance. En particulier, nous sommes
en mesure de reconstruire des déformations complexes, non-lisses et d’articulations avec la seconde
méthode; alors qu’avec la première, nous pouvons reconstruire avec précision de déformations larges
à partir d’images prises avec des très longues focales.