Humans

Mitarbeiter: Bodo Rosenhahn, Roberto Henschel, Petrissa Zell, Bastian Wandt, Felix Kuhnke, Maren Awiszus, Marco Rudolph, Yuren Cong
Einleitung

Die Erfassung menschlicher Bewegungen hat zahlreiche Anwendungen in Bereichen wie Filmproduktionen, Animation, medizinische Analyse, Sportwissenschaften und natürliche Mensch-Computer-Interaktion. Traditionell werden dazu Systeme verwendet, die die 3D-Position von auf dem Körper aufgeklebten Markern verfolgen und daraus die Körperbewegung rekonstruieren. Solche Systeme sind teuer, aufwändig zu installieren und die Bewegungen können nur in einem kleinen Aufnahmebereich aufgezeichnet werden.

Das Institut für Informationsverarbeitung (TNT) erforscht neuartige Methoden um die Bewegungen in beliebigen Umgebungen und ohne spezielle Marker zu rekonstruieren. Dabei kommen neben handelsüblichen Kameras auch am Körper getragene Inertialsensoren zum Einsatz. Neben der Erfassung der Bewegungen werden auch Methoden erforscht, um die zugrundeliegenden Kräfte und Momente im muskoskelettalen System des menschlichen Körpers abzuschätzen.

Aktuelle Forschungsthemen

Monokulare Kamera:

In einem Projekt zur Erfassung menschlicher Bewegungen auf Basis von einer einzelnen beweglichen Kamera werden Optimierungsverfahren entwickelt, welche neben der Körperhaltung auch die Kamerabewegung rekonstruieren und zusätzlich anthropometrische Größen des Akteurs schätzten. Dies ermöglicht die automatische Erfassung menschlicher Bewegungen mit einer handelsüblichen Kamera, wie sie z.B. in Smartphones zu finden sind.

Inertialsensoren und Sensorfusion:

Neben kamerabasierten Ansätzen werden Methoden erforscht um menschliche Bewegungen mit Hilfe von Inertialsensoren zu rekonstruieren. Die Sensoren werden am Körper unter der Kleidung getragen und ermöglichen so eine einfache Aufnahme von Bewegungen in Alltagssituationen und eignen sich für Langzeit-aufnahmen [2]. Zusätzlich werden Fusionsansätze entwickelt, um Sensorunsicherheiten durch die Kombination mit Bildinformation aus Videodaten zu kompensieren. Dies erhöht die Genauigkeit und Robustheit der Bewegungsrekonstruktion.

Physikalische Modellierung:

Ein weiterer Forschungsschwerpunkt bildet die physikalische Modellierung und Analyse der erfassten Bewegungen. Zu den verwendeten Methoden zählen sowohl traditionelle Ansätze, wie Vorwärtsdynamik und inverse Dynamik, als auch Ansätze aus dem maschinellen Lernen. Die Rekonstruktion der wirkenden Kräfte und Momente kann beispielsweise genutzt werden, um Bewegungen hinsichtlich ihrer Effizienz oder ihres Belastungsgrads einzuschätzen.

Verwendete Methoden

Körper:

Poseschätzung, Bodyshape Models, Unterraumprojektionen, Autoencoder, Physikalische Modelle, Deep Learning, Generative Adversarial Networks, Sensorfusion, IMUs

Gesichter:

Gesichtsdetektion, Emotionserkennung, Extraktion markanter Gesichtspunkte, 3D-Gesichtsrekonstruktion, Verarbeitung von 3D-Netzen, Pose Estimation, Visuelle Sprachsynthese, Virtuelle Avatare

  • Conference Contributions
    • Roberto Henschel, Timo von Marcard, Rosenhahn Bodo
      Simultaneous Identification and Tracking of Multiple People using Video and IMUs
      Computer Vision and Pattern Recognition Workshops (CVPRW), June 2019
    • Bastian Wandt, Bodo Rosenhahn
      RepNet: Weakly Supervised Training of an Adversarial Reprojection Network for 3D Human Pose Estimation
      Computer Vision and Pattern Recognition (CVPR), IEEE, June 2019
    • Timo von Marcard, Roberto Henschel, Michael J. Black, Bodo Rosenhahn, Gerard Pons-Moll
      Recovering Accurate 3D Human Pose in The Wild Using IMUs and a Moving Camera
      European Conference on Computer Vision, September 2018
    • Bastian Wandt, Hanno Ackermann, Bodo Rosenhahn
      A Kinematic Chain Space for Monocular Motion Capture
      ECCV Workshops, September 2018
    • Petrissa Zell, Bastian Wandt, Bodo Rosenhahn
      Joint 3D Human Motion Capture and Physical Analysis from Monocular Videos
      The IEEE Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, July 2017
    • Petrissa Zell, Bodo Rosenhahn
      Learning-Based Inverse Dynamics of Human Motion
      The IEEE International Conference on Computer Vision (ICCV) Workshops, pp. 842-850, October 2017
    • Thiemo Alldieck, Marc Kassubeck, Bastian Wandt, Bodo Rosenhahn, Marcus Magnor
      Optical Flow-based 3D Human Motion Estimation from Monocular Video
      German Conference on Pattern Recognition (GCPR), September 2017
    • Bastian Wandt, Hanno Ackermann, Bodo Rosenhahn
      3D Human Motion Capture from Monocular Image Sequences
      IEEE Conference on Computer Vision and Pattern Recognition Workshops, IEEE, June 2015
    • Petrissa Zell and Bodo Rosenhahn
      A physics-based statistical model for human gait analysis
      German Conference on Pattern Recognition (GCPR), October 2015
    • Alina Kuznetsova, Bodo Rosenhahn
      On calibration of a low-cost time-of-flight camera
      IEEE European Conference on Computer Vision Workshops (ECCVW), 4rd Workshop on Consumer Depth Cameras for Computer Vision (CDC4CV), September 2014
    • Gerard Pons-Moll+, Jonathan Taylor+, Jamie Shotton, Aaron Hertzmann, Andrew Fitzgibbon
      Metric Regression Forests for Human Pose Estimation
      British Machine Vision Conference ( BMVC ) (+ dennotes equal contribution)
      Best Science Paper Award, September 2013
    • Alina Kuznetsova, Bodo Rosenhahn
      Hand pose estimation from a single RGB-D image
      9th International Symposium on Visual Computing (ISVC), July 2013
    • Alina Kuznetsova, Laura Leal-Taixé, Bodo Rosenhahn
      Real-time sign language recognition using a consumer depth camera
      IEEE International Conference on Computer Vision Workshops (ICCVW), 3rd Workshop on Consumer Depth Cameras for Computer Vision (CDC4CV), December 2013
    • Gerard Pons-Moll, Andreas Baak, Juergen Gall, Laura Leal-Taixe, Meinard Mueller, Hans-Peter Seidel, Bodo Rosenhahn
      Outdoor Human Motion Capture using Inverse Kinematics and von Mises-Fisher Sampling
      IEEE International Conference on Computer Vision (ICCV), November 2011
    • Nils Hasler, Thorsten Thormählen, Bodo Rosenhahn, Hans-Peter Seidel
      Learning Skeletons for Shape and Pose
      ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games, Washington , February 2010
    • Gerard Pons-Moll, Andreas Baak, Thomas Helten, Meinard Müller, Hans-Peter Seidel, Bodo Rosenhahn
      Multisensor-Fusion for 3D Full-Body Human Motion Capture
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 2010
    • Andreas Baak, Thomas Helten, Meinard Müller, Gerard Pons-Moll, Bodo Rosenhahn, Hans-Peter Seidel
      Analyzing and Evaluating Markerless Motion Tracking Using Inertial Sensors
      European Conference on Computer Vision (ECCV Workshops), September 2010
    • Nils Hasler, Bodo Rosenhahn, Thorsten Thormählen, Michael Wand, Hans-Peter Seidel
      Markerless Motion Capture with Unsynchronized Moving Cameras
      IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Miami, USA, 2009
    • Nils Hasler, Carsten Stoll, Bodo Rosenhahn, Thorsten Thormählen, H.-P. Seidel
      Estimating Body Shape of Dressed Humans
      Shape Modeling International, Beijing, 2009
    • Gerard Pons-Moll, Bodo Rosenhahn
      Ball Joints for Marker-less Human Motion Capture
      IEEE Workshop on Applications of Computer Vision (WACV), Snow Bird, Utah, USA, December 2009
    • B. Rosenhahn, C. Schmaltz, T. Brox, J. Weickert, D. Cremers, H.-P. Seidel
      Markerless Motion Capture of Man-Machine Interaction
      IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Alaska, 2008
    • J. Gall, B. Rosenhahn, H.-P. Seidel
      Drift-free Tracking of Rigid and Articulated Objects
      IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, Alaska, 2008
    • B. Rosenhahn, T. Brox, H.-P. Seidel
      Scaled Motion Dynamics for Markerless Motion Capture
      IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, Minnesota, USA., 2007
    • T. Brox, B. Rosenhahn, D. Cremers, H.-P. Seidel
      Nonparametric Density Estimation with Adaptive Anisotropic Kemels for Human Motion Tracking
      2nd. Workshop on Human Motion, Springer-Verlag, Berlin Heidelberg, pp. 152-165, 2007, edited by Elgammal, A.; Rosenhahn, B. ; Klette, R.
    • T. Brox, B. Rosenhahn, U. Kersting, D. Cremers
      Nonparametric Density Estimation for Human Tracking
      Pattern Recognition 2006, DAGM, Springer-Verlag, Berlin Heidelberg, pp. 546-555, Berlin, 2006, edited by Franke, K.; Mueller, R.;Nickolay, B.; Schaefer, R.
  • Journals
    • Petrissa Zell, Bodo Rosenhahn
      Learning inverse dynamics for human locomotion analysis
      Neural Computing and Applications, Springer Nature, December 2019
    • Timo von Marcard, Bodo Rosenhahn, Michael Black, Gerard Pons-Moll
      Sparse Inertial Poser: Automatic 3D Human Pose Estimation from Sparse IMUs
      Computer Graphics Forum 36(2), Proceedings of the 38th Annual Conference of the European Association for Computer Graphics (Eurographics), 2017
    • Bastian Wandt, Hanno Ackermann, Bodo Rosenhahn
      3D Reconstruction of Human Motion from Monocular Image Sequences
      Transactions on Pattern Analysis and Machine Intelligence, IEEE, Vol. 38, No. 8, pp. 1505-1516, 2016
    • Timo von Marcard, Gerard Pons-Moll, Bodo Rosenhahn
      Human Pose Estimation from Video and IMUs
      Transactions on Pattern Analysis and Machine Intelligence, IEEE, Vol. 38, No. 8, pp. 1533-1547, January 2016
    • Nils Hasler, Carsten Stoll, Martin Sunkel, Bodo Rosenhahn, Seidel Hans-Peter
      A Statistical Model of Human Pose and Body Shape
      Computer Graphics Forum (Proc. Eurographics 2009), Munich, Germany, 2009
    • B. Rosenhahn, U. Kersting, K. Powell, R. Klette, G. Klette, H.-P. Seidel
      A system for articulated tracking incorporating a clothing model
      Machine Vision and Applications, Springer Verlag, Berlin-Heidelberg, Vol. 18, No. 1, pp. 25-40, February 2007
  • Book Chapters
    • Petrissa Zell, Bastian Wandt, Bodo Rosenhahn
      Physics-based Models for Human Gait Analysis
      Handbook of Human Motion, Springer International Publishing, 2018, edited by Bertram Müller, Sebastian I. Wolf
    • B. Rosenhahn, Uwe G. Kersting, K. Powell, T. Brox, Hans-Peter Seidel
      Tracking Clothed People
      Human Motion - Understanding, Modelling, Capture and Animation, Springer Verlag, Dordrecht, The Netherlands, Vol. 36, pp. 295-317, 2007, edited by Rosenhahn B.; Klette R.; Metaxas D.