EmbeddedNeuroVision

Im Laufe des Projekts wurden „Event-basierte“ Kameras parallel zu klassischen „Frame-basierten“ Kameras eingesetzt, um einen Datensatz mit zwölf verschiedenen Gesten/Aktionen zu erstellen. Dieser Datensatz wurde verwendet, um sowohl klassische neuronale Netze (CNN+LSTM) als auch Spiking Neural Networks darauf zu trainieren, die gezeigten Gesten zu klassifizieren. Die so trainierten Netze wurden auf entsprechenden Hardware-Beschleunigern ausgeführt und die beiden resultierenden Systeme (klassisch und Event-basiert) hinsichtlich der Vorhersagegenauigkeit, elektrischen Leistungsaufnahme und erzeugten Datenrate verglichen. Das Event-basierte System erreichte dabei bei wesentlich geringerer Datenrate und el. Leistungsaufnahme eine höhere Vorhersagegenauigkeit. Die Abbildung zeigt einen Ausschnitt des Demonstrationssystems. Details zur Projektdurchführung und den Ergebnissen können dem Abschlussbericht entnommen werden.