Egal, ob Wahlkampfansprache, Urlaubsvideo oder Zeugenvernehmung: „Palpitate“, eine Software-Lösung, bestimmt über Videomaterial die Herzfrequenz oder entlarvt Emotionen. Für Ärzte eröffnen sich neue Möglichkeiten zur Telemetrie.
Studenten am Imperial College London haben jetzt eine Software vorgestellt, um die Herzfrequenz aus Video- oder Audiodaten zu bestimmen. Dazu reichen bereits Handyvideos aus. Älteres Material, beispielsweise ein Fernsehinterview mit Bill Clinton auf Youtube, lässt sich ebenfalls analysieren.
Ältere Arbeiten haben gezeigt, dass sich die Stimme, aber auch die Leitfähigkeit der Haut eignen, um kardiologische Parameter aus Videos zu erfassen. Im aktuellen Projekt verwenden Studierende Audio- oder Videosignale als Basis. Das geht so: User laden ein Video auf die Plattform hoch. Aus den Bits und Bytes werden relevante Daten extrahiert. Anschließend gibt das Tool Informationen zur Herzfrequenz aus und streamt das Video zurück.
Herzstück der Software ist ein „Face Tracker“, der Hautnuancen erfasst. Eine ältere Arbeit zeigt, dass Blutfluss und Herzfrequenz in Zusammenhang stehen. Um ihr System zu entwickeln, rekrutierten die Forscher 44 Probanden. Sie zeichneten ein Video inklusive Tonspur auf und erfassten gleichzeitig die Herzfrequenz. Wider Erwarten war es nicht ganz einfach, Gesichter zu erkennen und Artefakte auszuschließen – kommerzielle Lösungen erwiesen sich als wenig praxistauglich. Sobald diese Herausforderung gelöst war, kam Machine Learning zum Einsatz. Ein künstliches System lernt aus konkreten Beispielen und kann diese anschließend verallgemeinern. Das heißt, es werden nicht nur Zusammenhänge auswendig gelernt, sondern Muster erkannt. So gelingt es, unbekannte Gesichter zu beurteilen.
Bei „Palpitate“ geht es aber nicht nur darum, kardiologische Informationen zu erfassen. Die Programmierer wollen mit ihrem System auch dazu beitragen, Emotionen aufzuspüren. In ihrem Blog kritisieren sie, momentan würden vor allem große Firmen am Thema forschen – nicht immer zum Wohle von Patienten. Beispielsweise präsentiert Microsoft eine Emotion API, die in Bilddaten Gefühle findet. Das funktioniert mit Audio- und Videodaten ebenfalls, weitere Untersuchungen vorausgesetzt. Palpitate könnte früher oder später das Spektrum telemetrischer Möglichkeiten stark erweitern. Große Vorteile sehen die Entwickler vor allem in Möglichkeiten zur berührungslosen Diagnostik. Wie sie demonstrieren, reichen bereits Skype-Videokonferenzen aus. Gleichzeitig eröffnen sich Möglichkeiten, retrospektiv grundlegende kardiologische oder psychiatrische Daten zu erheben – ein Video reicht aus. Auch die Forensik könnte vom Softwarepaket profitieren.