Masterthesen fĂŒr Informatik

  1. Adaptive Optimierung von Stimulationsmustern eines VEP-basierten Brain-Computer Interfaces
  2. 3D Eyeball generation based on vein motion
  3. EyeTrace CUDA extesion
  4. Vein extraction and eye rotation determination
  5. Saccade Bundles
  6. Gaze Counter
  7. Automatisierter Scanpath Vergleich
  8. Anwendung bekannter Algorithmen zur Klassifikation von Augenbewegungen aus Messdaten von Realfahrten bei der Daimler AG

Adaptive Optimierung von Stimulationsmustern eines VEP-basierten Brain-Computer Interfaces

For the english version please click on the picture!

Beschreibung
Ein Brain-Computer Interface (BCI) ist eine Schnittstelle zwischen dem menschlichen Gehirn und einem Computer. BCIs ermöglichen z.B. körperlich gelĂ€hmten Patienten einen Computer ĂŒber reine GehirnaktivitĂ€t zu steuern. Das in TĂŒbingen entwickelte EEG2Code BCI ist das momentan schnellste nicht-invasive BCI System. (Quelle)
In Abbildung 1 ist der schematische Ablauf der Methode skizziert. Jeder Buchstabe der virtuellen Tastatur flackert mit einem zufÀlligen Stimulationsmuster. Dieses Flackern erzeugt im Gehirn sogenannte visuell evozierte Potentiale (VEPs), welche mittels Elektroenzephalographie (EEG) aufgezeichnet werden können. Das EEG wird dann mithilfe eines zuvor trainierten Neuronalen Netzes klassifiziert, wobei der Output dem Stimulationsmuster des Buchstabens (mit einer gewissen Genauigkeit) entspricht, auf den der Nutzer geschaut hat.
Das entwickelte BCI ermöglicht bereits eine schnelle und asynchrone Bedienung, allerdings hat sich in Tests gezeigt, das bestimme Stimulationsmuster zu einer besseren/schnelleren Klassifikation fĂŒhren.

Zielsetzung
Ziel dieser Arbeit soll es sein die verwendeten Stimulationsmuster adaptiv zu optimieren. Dies bedeutet, dass eine Methode entwickelt werden soll, welche die - zu Beginn zufÀlligen - Stimulationsmuster "bewertet", sodass sich ein Ranking ergibt. Die besser bewerteten Stimulationsmuster sollen dann hÀufiger verwendet werden als die schlechteren.
Um dies zu evaluieren ist es nötig das System an sich selbst, sowie mit Probanden zu testen. DiesbezĂŒglich wird es eine EinfĂŒhrung geben wie man ein EEG prĂ€pariert.
Zudem sollen die Stimulationsmuster anschließend analysiert werden, mit dem Ziel gewisse Eigenschaften ausfindig zu machen, welche zu einer besseren Klassifikation fĂŒhren.

Anforderungen
Interesse an Neurowissenschaften, gute Programmierkenntnisse und Erfahrung in MATLAB sind von Vorteil.

Ansprechpartner: Sebastian Nagel

3D Eyeball generation based on vein motion

The first step is robust feature extraction. This can be done using SURF, SIFT, BRISK
or MSER features if sufficient. Those features have to be mapped on features found in
consecutive images. Based on the displacement a 3D model has to be computed. This model is used afterwards for gaze position estimation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas KĂŒbler

EyeTrace CUDA extesion

EyeTrace is a software for gaze data visualization and analysis. Due to the increasing amount of data these visualizations need more computation time. In this thesis existing visualizations should be implemented using CUDA for GPU computations. Additionally this includes a data storage model making it possible to shift the data between the GPU and the host computer.
Due to the fact that nowadays not all computers have a CUDA capable card the modul should also allow CPU computations. This should be determined automatically by the module.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas KĂŒbler

Vein extraction and eye rotation determination

The first step is setting up an recording environment with fixed subject position. This
environment is used for data acquisition with predefined head rotations of the subjects. Based on this data an algorithm has to be developed measuring the eyeball rotation of the subject. The resulting angle is then compared and validated based on the head rotation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas KĂŒbler

Saccade Bundles

This project is about applying (and probably adjusting) a linear time clustering algorithm for brain fiber activity to work with saccadic trajectories. The result will be a clustering of saccades (= saccade bundle).

The algorithm will be applied to eye-tracking data recorded while viewing fine art and while driving. These bundles could give insight into the perception of art (e.g. do saccades follow composition lines) and can be used to quantify saccadic distributions and traversals towards different interesting areas for driving (e.g. control gaze towards the rear mirror). The algorithm will be included in our eye-tracking data analysis software EyeTrace.

Ansprechpartner: Dr. Thomas KĂŒbler

Gaze Counter

WĂ€hrend in der Online-Werbebranche die Erfolgskontrolle fĂŒr eine bestimmte Werbeanzeige z.B. durch die Anzahl der Klicks oder eine Klick/Kauf-Rate relativ einfach durchgefĂŒhrt werden kann, ist dies fĂŒr Offline-Medien nicht immer ganz so einfach: Wie oft wird beispielsweise ein bestimmtes Plakat pro Tag betrachtet? Erregt ein Design mehr Aufmerksamkeit, als ein anderes? Ist ein höherer Preis fĂŒr einen bestimmten Plakatstandort gerechtfertigt? Das Blickverhalten ist in der Werbebranche ein gĂ€ngiger Indikator. Eye-Tracking Studien sind aber teuer und aufwĂ€ndig auszuwerten.

Aufgabestellung:

In diesem Projekt soll ein sogenannter ”Gaze Counter” erstellt werden: Eine kamerabasierte Messvorrichtung, die das Blickverhalten von Passanten automatisch auswerten kann und dabei bestimmt, ob ein Objekt in seiner NĂ€he (z.B. ein Werbeplakat, auf das der Gaze Counter aufgesetzt wurde) betrachtet wurde. So kann mit wenig Aufwand gemessen werden, wann wie viele Personen fĂŒr wie lange auf ein Objekt geschaut haben.

Ansprechpartner: Dr. Thomas KĂŒbler

Automatisierter Scanpath Vergleich

Beschreibung:
Menschen können ihre Aufmerksamkeit gezielt lenken. Eine Methode diese Aufmerksamkeitszuweisung aufzuzeichnen sind Eye-Tracking Aufnahmen: Objekte, die momentan interessant sind, werden mit den Augen fixiert. Oftmals ist es nicht nur interessant, wohin einzelne Individuen ihre Aufmerksamkeit lenken, sondern auch ein Vergleich zwischen Individuen oder verschiedenen Zeitpunkten. Hierzu werden diese auf einfache Elemente reduziert: Fixationen und Sakkaden (schnelle Augenbewegungen). Die zeitliche Abfolge und rÀumliche Position von Fixationen und Sakkaden nennt man Scanpath. Aktuelle Vergleichsmetoden basieren auf zwei verschiedenen AnsÀtzen:

  • Umwandlung des Scanpaths in eine String-ReprĂ€sentation und Anwenden bioinformatischer String-Alignment Techniken.
  • Vergleich der Scanpaths als Vektorpfad.

Beide Methoden zeichne sich durch massive EinschrÀnkungen und sehr begrenzte Anwendbarkeit aus: Sie funktionieren generell nur bei einfachen Scanpaths und unbewegtem Betrachter gut. Deshalb ist die Analyse von Hand noch immer sehr verbreitet, obwohl hierdurch ObjektivitÀt verloren geht und viel Zeit nötig ist.

Aufgabenstellung:
Ziel dieser Arbeit ist die Verbesserung bestehender Scanpath Vergleichsmethoden. Dies beinhaltet zum einen das Finden geeigneter Distanzmetriken, zum anderen die Anwendung von Pattern-Recognition Verfahren. Das Erkennen und Wiederfinden kurzer Wiederholter Muster (Schulterblick oder Blick in den RĂŒckspiegel beim Autofahren) könnte die momentane Verfahren deutlich verbessern.

Ansprechpartner: Jun.-Prof. Dr. Enkelejda Kasneci, Dr. Thomas KĂŒbler

Anwendung bekannter Algorithmen zur Klassifikation von Augenbewegungen aus Messdaten von Realfahrten bei der Daimler AG

Beschreibung:
Bei der Bestimmung der visuellen Aufmerksamkeit eines Fahrers spielen Augenbewegungen, insbesondere Fixationen und Sakkaden, eine entscheidende Rolle. Zur Erkennung dieser Augenbewegungen auf Basis eines Kamerasignals sind in den letzten Jahren verschiedene Algorithmen entwickelt worden. Inwieweit diese Algorithmen auch bei Messdaten geringerer QualitÀt, wie z.B. aus Realfahrten, zuverlÀssige Ergebnisse liefern, muss jedoch evaluiert werden.

 

Aufgabenstellung:
Nach der Einarbeitung in den Stand-der-Technik, sollen bestehende Verfahren zur Klassifikation der Augenbewegungen in MATLAB re-implementiert werden. In einem ersten Schritt sollen diese Algorithmen auf Kameradaten höherer QualitĂ€t aus Fahrsimulatorfahrten angewendet und mit den Ergebnissen aus der Literatur verglichen werden. Anschliessend werden sie auf reale Fahrdaten erwarteter SerienqualitĂ€t angewendet und ggf. an diese Daten geringerer QualitĂ€t angepasst. Zudem werden die Algorithmen in ein online-fĂ€higes Simulinkmodell zur Verwendung im VersuchstrĂ€ger ĂŒbertragen werden.

Ansprechpartner: Jun.-Prof. Dr. Enkelejda Kasneci