Elektronische Augen und künstliche Intelligenz ermöglichen bereits heute automatische Türwächter, Fahrassistenzsysteme und Wohnräume, die über das Wohl ihrer Bewohner wachen. Dabei kann die Privatsphäre der Menschen gewahrt werden, indem die Videodaten direkt im Sensor verarbeitet werden (sog. „eingebettete KI“). Insbesondere die Erkennung zeitlich zusammenhängender Aktivitäten und Vorgänge stellen dabei aber eine große Herausforderung dar. Vor allem komplexe Anwendungen mit konventioneller KI (künstliche neuronale Netze, z.B. Convolutional Neural Networks - CNNs) haben einen Bedarf an Rechenleistung, der in eingebetteten Hardware-Lösungen einen zu hohen Stromverbrauch, Probleme mit der Abwärme und hohe Herstellungskosten verursacht. Eine Echtzeitverarbeitung in Anwendungen zur Erkennung von Aktivitäten mit zeitlichem Kontext ist daher in vielen Fällen mit eingebetteter KI nicht möglich.
Als Lösungsansatz sollen im Projekt anstatt klassischer Kameras sog. Event-basierte Kameras verwendet werden, welche nur Änderungen über die Zeit als kontinuierlichen Datenstrom ausgeben. Durch dieses Funktionsprinzip entsteht bei eine inhärente Filterung des beobachteten Bereichs, wobei “Uninteressantes” ignoriert wird und nur sich ändernde Bildbereiche ausgegeben werden, was eben die Bereiche mit Aktivitäten sind. Abseits des Umstands, dass solche Event-Kameras alleine schon weniger Energie benötigen als ihre klassischen Gegenstücke, wird durch diese Filterung auch die Menge an Daten reduziert, die ein nachfolgender KI-Algorithmus verarbeiten muss. Das Ziel dieses Vorhabens ist es daher, zu untersuchen, wie solche Event-basierten Kameras in ein bestehendes Bildverarbeitungssystem integriert werden können, welche Systemkomponenten hierfür angepasst werden müssen und welche Vorteile ihr Einsatz tatsächlich bringt. Neben klassischen KI-Algorithmen werden hierfür auch sog. gepulste neuronale Netze (Spiking Neural Networks) untersucht, welche biologischen neuronalen Netzen nachempfunden sind.
Als Anwendung wird ein System betrachtet, welches kritische Situationen wie etwa Bewegungslosigkeit, Inaktivität und Stürze in Wohnräumen erkennt und im Notfall mit einer Alarmnachricht an Pflegekräfte oder Angehörige reagieren kann. Der Projektpartner Inferics bietet hierfür mit PatronuSens aktuell eine Lösung basierend auf klassischen Kameras an.
Im Laufe des Projekts wurden „Event-basierte“ Kameras parallel zu klassischen „Frame-basierten“ Kameras eingesetzt, um einen Datensatz mit zwölf verschiedenen Gesten/Aktionen zu erstellen. Dieser Datensatz wurde verwendet, um sowohl klassische neuronale Netze (CNN+LSTM) als auch Spiking Neural Networks darauf zu trainieren, die gezeigten Gesten zu klassifizieren. Die so trainierten Netze wurden auf entsprechenden Hardware-Beschleunigern ausgeführt und die beiden resultierenden Systeme (klassisch und Event-basiert) hinsichtlich der Vorhersagegenauigkeit, elektrischen Leistungsaufnahme und erzeugten Datenrate verglichen. Das Event-basierte System erreichte dabei bei wesentlich geringerer Datenrate und el. Leistungsaufnahme eine höhere Vorhersagegenauigkeit. Die Abbildung zeigt einen Ausschnitt des Demonstrationssystems. Details zur Projektdurchführung und den Ergebnissen können dem Abschlussbericht entnommen werden.
Das FZI Forschungszentrum Informatik am Karlsruher Institut für Technologie ist eine gemeinnützige Einrichtung für Informatik-Anwendungsforschung und Technologietransfer. Es bringt die neuesten wissenschaftlichen Erkenntnisse der Informationstechnologie in Unternehmen und öffentliche Einrichtungen und qualifiziert junge Menschen für eine akademische und wirtschaftliche Karriere oder den Sprung in die Selbstständigkeit. Das FZI Forschungszentrum Informatik am Karlsruher Institut für Technologie ist eine gemeinnützige Forschungstransfereinrichtung des Landes Baden-Württemberg, das für seine Geschäfts- und Forschungspartner Lösungen für innovative Produkte, Dienstleistungen und Geschäftsprozesse entwickelt.
Geführt von Professoren verschiedener Fakultäten entwickeln die Forschungsgruppen am FZI interdisziplinär für ihre Auftraggeber Konzepte, Software-, Hardware- und Systemlösungen und setzen die gefundenen Lösungen prototypisch um. Wissenschaftliche Exzellenz und gelebte Interdisziplinarität sind somit in der Organisation verankert.
Als gemeinnützige Stiftung des bürgerlichen Rechts arbeiten wir für und mit Unternehmen und öffentlichen Institutionen jeder Größe: Kleinbetriebe und Konzerne, regionale Verwaltungen, Länder, Bund und EU. Mit dem FZI House of Living Labs steht eine einzigartige Forschungsumgebung für die Anwendungsforschung bereit.
Im Bereich der Informationstechnologie ist das FZI Innovationsdrehscheibe in Baden-Württemberg. Als wirtschaftsnahe und unabhängige Forschungseinrichtung erfüllen wir die Aufgabe einer Schnittstelle zwischen universitärer Forschung und praktischer Anwendung. Wir sind der Innovationspartner im Bereich IT des Karlsruher Instituts für Technologie (KIT) und der Wirtschaft. Das FZI ist Mitglied der Innovationsallianz innBW und der Innovationsallianz TechnologieRegion Karlsruhe.
Der Forschungsbereich Embedded Systems & Sensors Engineering (ESS) am FZI beschäftigt sich unter anderem mit Methoden und Werkzeugen zur Integration verteilter Sensoren, heterogener Kommunikationsnetze und mobilen Informationsgeräten zu innovativen Informationsanwendungen, v. a. für die Medizintechnik und die Automobilelektronik.
Die Inferics GmbH ist ein forschungsintensives Startup, das sich auf 3D-Video-Sensorik mit eingebetteter KI fokussiert, um automatisch die Situation und die Aktivitäten von Personen und Interaktionsobjekten in einem kompletten Halbraum zu erfassen, zu verstehen und an Akteure und Handlungssysteme zu melden. Letztere sind z.B. Pfleger, Sicherheitsdienste, Meldezentralen, Zutrittskontroll- und Hausautomatisierungssysteme oder mit Menschen kooperierende Maschinen und Fahrzeuge. Die Basis-Verfahren wurden auf der GTC 2018 vorgestellt, im Patentverfahren unter WO2020/074035 veröffentlicht und als patentfähig befunden sowie daraufhin als PCT-EP 19787149.4 zunächst beim Europäischen Patentamt zur Erteilung beantragt und von diesem unter Nr 3725852 veröffentlicht. Inferics hat diese Verfahren in seinem Kern-Produkt PatronuSens für die Unterstützung der Pflege (durch Alarmierung bei mittels KI automatisch erkannten Notsituationen) umgesetzt und auf den Markt gebracht. Inferics hat ferner einen video-basierten KI-Sensor zum Einkaufswagen-Tracking für einen Einzelhandelslieferanten in Deutschland entwickelt, der diesen in seine Systeme integriert. Für ein Japanisches Unternehmen entwickelt Inferics einen gesichtserkennungs-basierten Türöffner für rezeptionslose Hotels. Die Gründer arbeiten teilweise seit 1992 an KI-Verfahren für industrielle Prozesse (am KIT, der Hochschule Karlsruhe und dem Fraunhofer-IOSB) und haben dort zahlreiche Patente und über 50 Publikationen hervorgebracht. Bei der Inferics GmbH handelt es sich um die zweite, erfolgreiche Gründung des Technologen-Teams im Bereich der automatischen Situationserfassung aus Daten von Video-Sensoren.
Die HS Analysis GmbH wurde 2016 gegründet und hat sich auf das Management großer Datenmengen mit dem Fokus auf die Automatisierungsprozesse in Life Science spezialisiert. In Kooperation mit verschiedenen Akademie- und Industriepartnern hat HS Analysis bereits Hardwarekomponente für die dezentrale Nutzung der KI sowie Softwareprogramme entwickelt, welche routinemäßig für die Automatisierung der Mikroskopie-Robotern eingesetzt werden. Dadurch ist die Charakterisierung der histologischen Proben, Gewebe- und Zellkulturen sowie die in-vivo Diagnostik aber auch Analyse der in-vitro Verfahren möglich. Mit Hilfe der eigen geschriebenen Deep Learning Architekturen, Active und Transfer Learning setzt die HS Analysis weltweit den Standard in der diagnostischen Prädiktion beispielsweise immunonkologischer Kombinationstherapien sowie der Früherkennung von Krebsarten oder neurologischen Erkrankungen wie beispielsweise Schizophrenie. HS Analysis beschäftigt Elektrotechniker, Maschinenbauer und Informatiker, die moderne Ansätze aus der Künstlichen Intelligenz nutzen, bestehende Prozesse hinterfragen und neue Vorschläge für Hard- und Softwarelösungen liefern. Diese Kombination ist interdisziplinär und einzigartig.