3D Motion Capture auf mobilen Endgeräten (iOS)
Hiwitätigkeit
Im Rahmen des Projekts Motion Capture with Video and IMUs

Beschreibung

Moderne Smartphones sind heutzutage im täglichen Leben allgegenwärtig. Sie verfügen mittlerweile über vielfältige Sensorik wie beispielsweise Kameras, inertiale Messeinheiten (IMUs) zu Beschleunigungs-, Orientierungs- und Drehratenmessung sowie auch GPS und Tiefensensoren.

Quelle: Apple Inc.
Durch ihre flexible Verfügbarkeit ermöglichen sie einen niederschwelligen Einsatz effizienter Hardware in vielen Szenarien. So können sie beispielsweise auch zur Erfassung menschlicher Bewegungen im Bereich der Orthopädietechnik oder Sportwissenschaften Anwendung finden.

In einem ersten Schritt soll zunächst eine App zur Aufnahme von Bewegungsdaten (weiter-)entwickelt werden. Mit dieser sollen alle Sensordaten eines iPhones und von verbundenen Peripheriegeräten (z.B. Smartwatch) aufgezeichnet werden können.
Weitere Schritte, die zukünftig angestrebt werden:
  • Training eines neuronalen Netzes für einen einfachen Posetracker
  • Portieren der Implementierung zur Echtzeitposeschätzung auf dem iPhone

Voraussetzungen

Interesse bzw. Vorerfahrung mit iOS/Swift wünschenswert

Ansprechpartner: Felix Winkler