Template-basierte Fußrekonstruktion von 3D-Scans

Überblick

Dies ist ein Forschungsprojekt, das ich in enger Zusammenarbeit mit Astrivis durchgeführt habe. Das Ziel war es, ein Template-3D-Modell eines menschlichen Fußes an einen 3D-Scan anzupassen, der mit Astrivis' 3D-Rekonstruktionspipeline auf dem Smartphone erstellt wurde.

Problemstellung

Genaue 3D-Scans haben das Potenzial, genaue Messungen von Körperteilen zu ermöglichen. Die Möglichkeit, diese genauen Messungen zu extrahieren, ist besonders interessant für die maßgeschneiderte Bekleidungsindustrie, da es den Prozess der Beschaffung solcher Messungen erleichtern und den Online-Kaufprozess der Kunden optimieren kann.

Nehmen wir kurz an, Benutzer könnten ihr Gesicht oder ihre Füße schnell mit ihrem Smartphone scannen, um ein 3D-Modell davon zu erhalten. Dieser 3D-Scan kann dann für die Herstellung von maßgefertigten Gesichtsmasken (im Falle von Gesichtsscans) oder für maßgeschneiderte Schuhe oder Einlagen (im Falle von Fußscans) verwendet werden. Eine solche Scan-Software für das Smartphone wird von Astrivis bereitgestellt.

Um jedoch genaue Messungen von 3D-Scans vornehmen zu können, muss man saubere, accurate und vollständige Meshes erhalten (wie im obigen GIF gezeigt). Dies ist eine Herausforderung, da während des Scanvorgangs verschiedene Bedingungen Ungenauigkeiten, Unordnung und Unvollkommenheiten in das 3D-Modell einführen können (in der Praxis erhalten wir normalerweise eine Punktwolke, aus der ein Dreiecksnetz erzeugt werden muss).

Ansatz

Eine Möglichkeit, das Problem der Erstellung eines vollständigen 3D-Meshes aus einer ungenauen Punktwolke anzugehen, besteht darin, ein Template-Mesh zu verwenden und es schrittweise zu "verformen", bis es perfekt zur Punktwolke passt. Dieser Prozess wird normalerweise als Registrierung bezeichnet und da das Template-Mesh beliebig verformbar ist (d.h. es wird nicht nur skaliert, rotiert oder verschoben), nennen wir es eine nicht-rigide Registrierung.

Das folgende Video demonstriert diesen Registrierungsprozess für die Rekonstruktion von Füßen. Ein Template-Modell wird zu Beginn des Prozesses in der Nähe des gescannten Fußes initialisiert. Anschließend wird das Modell auf nicht-rigide Weise schrittweise verformt und iterativ an die Punkte des Scans durch eine Variante des Iterative Closest Point Algorithmus (ICP) angepasst.

Verwendete Technologien

Dieses Projekt wurde in C++ implementiert, unter Verwendung der Ceres-Bibliothek für den Optimierungsteil.