Maschinelles Lernen in der Biomechanik – Möglichkeiten und Herausforderungen

Wie oben bereits geschrieben, benötigt ein ML Algorithmus Trainingsdaten, aus denen er lernen und sein Modell anpassen kann. Die Faustregel besagt, dass ca. 60% der Arbeit beim Umgang mit ML auf die reine Trainingsdatenerfassung aufgewandt werden muss. Die Qualität der Trainingsdaten ist am Ende einer der entscheidenden Punkte, ob der Algorithmus gute Arbeit leistet oder nicht.

Generell unterscheidet man beim ML in zwei unterschiedliche Lernstrategien, welche sich auf die Anforderungen an die Trainingsdaten auswirken: Das Überwachte Lernen und das Nicht-Überwachte Lernen. Überwachtes Lernen dient der Ermittlung von Funktionen wie z.B. bei Klassifikations- und Regressionsproblemen. Hier ist es wichtig, dass sowohl die Prädiktoren (also die Daten, die wir später in den Algorithmus einspeisen, um auf ein Ergebnis zu kommen), als auch die Zielwerte (also die Daten, die uns der Algorithmus später auswerfen soll), mit aufgezeichnet werden. Der ML Algorithmus ist somit im Trainingsprozess in der Lage, zu lernen, welche Ergebnisse er bei welchen Inputwerten herausgeben soll und kann dieses „Wissen“ später auch auf ungesehene Daten anwenden. Möchte man z.B. wie Mundt et al. (2019) Bodenreaktionskräfte mit Hilfe von MoCap Daten vorhersagen, so muss man für die Trainingsdaten sowohl die 3D Kinematik (Prädiktor) auch Bodenreaktionskräfte (Zielwert) aufzeichnen. Nach dem Trainingsprozess sollte der Algorithmus dann in der Lage sein, aus den Kinematikdaten die Bodenreaktionskräfte abzuschätzen.

Soll der ML Algorithmus allerdings für die Ermittlung unbekannter Strukturen, wie z.B. beim Clustering oder der Dimensionsreduktion, eingesetzt werden, so wird das sogenannte Nicht-Überwachte Lernen angewendet. Hierfür müssen und können keine Zielwerte ausgezeichnet werden.

Mitentscheidend für ein Gelingen des Trainingsprozesses ist die pure Menge an Trainingsdaten. Je komplizierter die zu modellierenden Zusammenhänge sind und je präziser die angestrebten Ergebnisse sein sollen, desto mehr Trainingsdaten werden benötigt. Und genau hier liegt eine der großen Herausforderungen in der Biomechanik. Wenn Du schon mal selbst eine Studie mit Probanden durchgeführt hast, weißt Du wie schwierig es ist genügend Teilnehmer zu rekrutieren. Die meisten Studien werden mit 10-20 Probanden durchgeführt, was für ML Anwendungen in den meisten Fällen nicht ausreichend ist. Biomechanische Studien, bei denen eine künstliche Intelligenz trainiert wird, haben im Schnitt rund 40 Probanden, doch auch dies scheint nicht immer ausreichend zu sein (Halilaj et al., 2018). Es ist schwierig, wenn nicht sogar unmöglich, eine Nummer zu definieren, die als Minimum an Trainingsdaten für einen ML Algorithmus benötigt wird. Aber man kann eindeutig sagen: Du kannst nie zu viele qualitativ hochwertige Daten sammeln! Je mehr du hast, desto genauer wird dein Modell. Natürlich gibt es irgendwo eine Art Sättigung, bei der die Verbesserungen marginal sein werden, aber auch hierfür gibt es keinen generellen Maximalwert.

Zusätzlich zu einem genaueren Modell sorgt ein großer Trainingsdatensatz ebenfalls für eine hohe Generalisierbarkeit und verhindert ein sogenanntes Overfitting, auf das wir später noch eingehen werden.

Zusätzlich zur puren Menge der Trainingsdaten ist die Variabilität im angestrebten Wertebereich von entscheidender Bedeutung. Dabei sollten die gesammelten Trainingsdaten repräsentativ für deinen Anwendungsbereich sein, um eine hohe Generalisierbarkeit sicherzustellen. In anderen Worten: Die Daten, die du für das Training verwendest, sollten alle Fälle abdecken, die aufgetreten sind und die noch auftreten werden. Ein Beispiel könnte hier etwas Licht ins Dunkel bringen: Du hast einen ML Algorithmus programmiert, der Bilder einliest und zwischen Hunden und Katzen unterscheiden soll. Du trainierst den Algorithmus mit jeweils drei Bildern pro Tier: Einen Hund mit weißem Fell, einen mit braunem Fell und einen mit schwarzem Fell; eine Katze mit weißem Fell, eine mit braunem Fell und eine mit getigertem Fell. Anschließend testest Du das trainierte Modell mit einem Bild einer Katze, welches ein schwarzes Fell hat. Die Wahrscheinlichkeit ist jetzt relativ hoch, dass der ML Algorithmus auf diesem Bild fälschlicherweise einen Hund identifiziert, denn im Trainingsdatensatz gab es keine schwarze Katze, sondern nur einen schwarzen Hund. Fügst Du den Trainingsdaten ein Bild mit einer schwarzen Katze hinzu, so ist der Algorithmus wahrscheinlich in der Lage einen schwarzen Hund von einer schwarzen Katze zu unterscheiden, da er die Unterschiede beider Tiere an anderen Merkmalen, wie z.B. dem Körperbau, festmacht. Eine hohe Variabilität in den Trainingsdaten geht so auch mit einer hohen Datenmenge einher. Eine hohe Datenmenge im Gegensatz dazu allerdings nicht zwangsläufig mit einer hohen Variabilität, was fatal wäre. 10 Bilder von braunen Katzen helfen nämlich nicht dabei, eine schwarze Katze zu identifizieren. Hier würden wir von einer Stichprobenverzerrung sprechen.

Genauso wichtig ist, dass der Trainingsdatensatz keine Fälle beinhaltet, die gar nicht vorkommen können. Sagen wir z.B. bei der Benennung der Bilddateien wurde ein Fehler gemacht und ein Bild einer Katze wird dadurch der Kategorie „Hund“ zugeordnet. Das Bild der Katze wäre offensichtlich nicht repräsentativ für einen Hund. Wenn du einen nicht repräsentativen Trainingsdatensatz verwendest, wird das trainierte Modell ebenfalls keine genauen Vorhersagen machen können.

Beim Trainieren des Modells sollte darauf geachtet werden, dass nur Merkmale als Prädiktoren verwendet werden, die auch einen tatsächlichen Nutzen haben. Sind die Trainingsdaten durch eine hohe Anzahl von irrelevanten Merkmalen geprägt, so wird dein Modell deutlich schlechtere Ergebnisse erzielen. Frei nach dem Motto: Packst Du Müll rein, kommt auch Müll wieder raus. Um bei unserem Hund-Katze-Beispiel zu bleiben, könnte man z.B. die Metadaten der Bilddateien betrachten. Hier wird unter anderem für jedes Bild der genaue Aufnahmezeitpunkt mit abgespeichert. Diese Information hat eindeutig keinen Nutzen für die Unterscheidung zwischen Hund und Katze und könnte sogar dazu führen, dass die Leistung des Algorithmus verringert wird. Es ist also wichtig, dass du vor dem Trainingsprozess alle relevanten Merkmale identifizierst, diese mit einbeziehst und alle irrelevanten Merkmale aussortierst.

Nachdem du genügend Trainingsdaten mit einer hohen Variabilität aufgenommen hast und anschließend relevante Merkmale und irrelevanten Merkmalen voneinander getrennt hast, sollte wie bei jeder Datenanalyse in der Biomechanik die Qualität der Daten überprüft werden. Gibt es Ausreißer, die man herausfiltern sollte? Fehlen Teile der Daten, deren Lücken noch gefüllt werden können und müssen?

Das Modell soll möglichst genaue Ergebnisse erzielen und deshalb ist die Qualität der Daten von hoher Bedeutung.

Maschinelles Lernen ist nicht gleich maschinelles Lernen. Es gibt eine Vielzahl von unterschiedlichen Methoden, die für verschiedene Anwendungen eingesetzt werden. Es gilt hier die passendste herauszusuchen und anschließend zu optimieren. Jedes einzelne Modell hat wiederrum einige Hyperparameter, die optimal konfiguriert werden müssen. Hierfür gibt es keine allgemeingültige Methode und eine detailliertere Beschreibung würde den Rahmen dieses Artikels sprengen. Aber keine Sorge: Wir arbeiten an einem spezifischen Artikel!

Auch beim Trainingsprozess gibt es ein paar Punkte zu beachten, um optimale Ergebnisse zu erhalten. Für einen erfolgreichen Trainingsprozess ist es nicht wichtig, den Fehler zwischen ML-Ausgabe und Zielwerten zu minimieren, sondern ihn zu optimieren. Es ist wichtig, einen guten Kompromiss zwischen einem Underfitting und Overfitting des Modells zu finden. Ein Underfitting tritt auf, wenn das zugrundeliegende Modell nicht in der Lage ist, die Komplexität der Zusammenhänge darzustellen. Ist dies der Fall, muss ein ML Algorithmus mit einer höheren Komplexität gewählt werden. Ein Overfitting ist das genaue Gegenteil davon und kommt in der Praxis viel häufiger vor. Hier führt es zu dem Phänomen, dass der Lernalgorithmus die Netzausgänge so gut an die Zielwerte anpasst, dass auch jede Art von Rauschen innerhalb des Trainingsdatensatzes gespeichert und abgebildet wird (Jabbar & Khan, 2014).

Die Hauptaufgabe beim Training neuer ML Algorithmen kann zusammengefasst werden als (i) die Erstellung eines Modells, das in seiner Komplexität dem realen Problem entspricht und (ii) dieses Modell zu trainieren, um seine internen Strukturen zu optimieren.

Für (i) kann das Prinzip von Occam's Razor angewendet werden. Dieses Prinzip besagt, dass einfache Lösungen für ein Problem komplexeren vorgezogen werden sollten (Sober, 2015). Bei ML Algorithmen legt dieses Prinzip nahe, dass eine niedrige Modellkomplexität, die in der Lage ist, die Aufgabe des Netzwerks zu erfüllen, zu einer hohen Generalisierungsleistung ohne Overfitting führt. Außerdem führt eine Reduktion der Modellkomplexität zu einer Verringerung der Rechenzeit (Schmidhuber, 2015).

Punkt (ii) stellt Anforderungen an die zu verwendenden Trainingsdaten und den Trainingsprozess selbst. Bei den Trainingsdaten sind die reine Menge der Datenpunkte und deren Variabilität von grundlegender Bedeutung. Kleinere Datensätze sind anfälliger für Overfitting, da sie möglicherweise nicht die volle Komplexität des realen Problems erfassen und das Modell sich leicht an sein Rauschen und seine Ausreißer anpassen kann (Jabbar, 2014). Aber auch bei einem großen Datensatz muss darauf geachtet werden, dass ein Overfitting vermieden wird, indem der Trainingsprozess an der richtigen Stelle gestoppt wird.

Dafür kann man den Trainingsdatensatz in zwei oder drei Subdatensätze aufteilen:

1. Trainingsset: Dies ist der größte Teil und wird für die Reduzierung des Fehlers zwischen Outputs und Zielwerten verwendet.
2. Validierungssatz: Wird zur Kreuzvalidierung des Modells während des Trainingsprozesses verwendet. Dies ist vom Trainingsset getrennt, wird aber innerhalb des Trainingsprozesses verwendet.
3. Testsatz: Dieser Teil der Trainingsdaten wird nicht für das Training selbst verwendet, sondern dient nur zur Bewertung der Leistung des Modells.

Mit Hilfe der drei Teildatensätze wird nun die Early Stopping Regularisierungstechnik angewendet. In der Regel werden sowohl der Validierungs- als auch der Trainingsfehler in der Anfangsphase des Trainings abnehmen. Der Beginn eines Overfittings kann erkannt werden, wenn der Validierungs- und Testfehler zu steigen beginnt, während der Trainingsfehler weiter abnimmt. Das Training wird gestoppt, sobald ein signifikanter Abfall der Generalisierungsleistung über eine vordefinierte Anzahl und Epochen festgestellt wird. Der Trainingsalgorithmus gibt dann die Modellparameter mit der besten Leistung bis zu diesem Zeitpunkt zurück (Jabbar, 2014).