Masterthesen f√ľr Informatik

  1. 3D Eyeball generation based on vein motion
  2. EyeTrace CUDA extesion
  3. Vein extraction and eye rotation determination
  4. Saccade Bundles
  5. Gaze Counter
  6. Erweiterung eines graphbasierten Verfahrens zur Partitionierung eines RTL Designs in Power Domains
  7. Automatisierter Scanpath Vergleich
  8. Klassifikation emotionaler Zustände durch Herzratenvariabilität
  9. Erweiterung des c-VEP Brain-Computer Interface (BCI) durch einen non-control state
  10. Using spiking neural networks to simulate the effect of BCI-Training
  11. Using Spiking Neural Networks to model the effects of stroke on the human motor system
  12. Anwendung bekannter Algorithmen zur Klassifikation von Augenbewegungen aus Messdaten von Realfahrten bei der Daimler AG
  13. Auswahl und Evaluierung von Metriken zum Vergleichen von Bildern

3D Eyeball generation based on vein motion

The first step is robust feature extraction. This can be done using SURF, SIFT, BRISK
or MSER features if sufficient. Those features have to be mapped on features found in
consecutive images. Based on the displacement a 3D model has to be computed. This model is used afterwards for gaze position estimation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K√ľbler

EyeTrace CUDA extesion

EyeTrace is a software for gaze data visualization and analysis. Due to the increasing amount of data these visualizations need more computation time. In this thesis existing visualizations should be implemented using CUDA for GPU computations. Additionally this includes a data storage model making it possible to shift the data between the GPU and the host computer.
Due to the fact that nowadays not all computers have a CUDA capable card the modul should also allow CPU computations. This should be determined automatically by the module.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K√ľbler

Vein extraction and eye rotation determination

The first step is setting up an recording environment with fixed subject position. This
environment is used for data acquisition with predefined head rotations of the subjects. Based on this data an algorithm has to be developed measuring the eyeball rotation of the subject. The resulting angle is then compared and validated based on the head rotation.

Ansprechpartner: Wolfgang Fuhl, Dr. Thomas K√ľbler

Saccade Bundles

This project is about applying (and probably adjusting) a linear time clustering algorithm for brain fiber activity to work with saccadic trajectories. The result will be a clustering of saccades (= saccade bundle).

The algorithm will be applied to eye-tracking data recorded while viewing fine art and while driving. These bundles could give insight into the perception of art (e.g. do saccades follow composition lines) and can be used to quantify saccadic distributions and traversals towards different interesting areas for driving (e.g. control gaze towards the rear mirror). The algorithm will be included in our eye-tracking data analysis software EyeTrace.

Ansprechpartner: Dr. Thomas K√ľbler

Gaze Counter

W√§hrend in der Online-Werbebranche die Erfolgskontrolle f√ľr eine bestimmte Werbeanzeige z.B. durch die Anzahl der Klicks oder eine Klick/Kauf-Rate relativ einfach durchgef√ľhrt werden kann, ist dies f√ľr Offline-Medien nicht immer ganz so einfach: Wie oft wird beispielsweise ein bestimmtes Plakat pro Tag betrachtet? Erregt ein Design mehr Aufmerksamkeit, als ein anderes? Ist ein h√∂herer Preis f√ľr einen bestimmten Plakatstandort gerechtfertigt? Das Blickverhalten ist in der Werbebranche ein g√§ngiger Indikator. Eye-Tracking Studien sind aber teuer und aufw√§ndig auszuwerten.

Aufgabestellung:

In diesem Projekt soll ein sogenannter ‚ÄĚGaze Counter‚ÄĚ erstellt werden: Eine kamerabasierte Messvorrichtung, die das Blickverhalten von Passanten automatisch auswerten kann und dabei bestimmt, ob ein Objekt in seiner N√§he (z.B. ein Werbeplakat, auf das der Gaze Counter aufgesetzt wurde) betrachtet wurde. So kann mit wenig Aufwand gemessen werden, wann wie viele Personen f√ľr wie lange auf ein Objekt geschaut haben.

Ansprechpartner: Dr. Thomas K√ľbler

Erweiterung eines graphbasierten Verfahrens zur Partitionierung eines RTL Designs in Power Domains

Beim Design energiesparsamer eingebetteter Systeme muss ein Entwickler u.a. die Entscheidung √ľber die Partitionierung seines Designs in Power Domains treffen, d.h. welche Komponenten laufen mit derselben Spannung und derselben Taktfrequenz. Mit dem Workload-driven Power Domain Partitioning existiert ein Ansatz zur automatischen Designpartitionierung, der auf sog. Sleep Mode Traces basiert. Sleep Mode Traces protokollieren f√ľr alle Komponenten eines Designs, zu welchen Zeitpunkten diese z.B. bei der Ausf√ľhrung eines bestimmten Programms aktiv sind und wann diese inaktiv sind.

Der Algorithmus von Dobryal minimiert f√ľr einen spezifischen Sleep Mode Trace die Leistungsaufnahme f√ľr eine gegebene Anzahl von zu erzeugenden Power Domains und gibt einen entsprechend Partitionierungsvorschlag (analog: Partition Set 1/2) aus.

Wir haben am Lehrstuhl f√ľr Eingebettete Systeme ein Verfahren entwickelt, um Sleep Mode Traces f√ľr beliebige RTL Designs automatisiert generieren zu k√∂nnen. Hierf√ľr erzeugen wir ein Regelwerk, welches definiert, unter welchen Bedingungen bestimmte Komponenten eines Designs inaktiv sind. Ein bestimmter Simulationslauf (gegeben als VCD-Datei) kann dann mit Hilfe dieses Regelwerks ausgewertet werden. Das Verfahren ist in einem Java/Scala-basierten Framework implementiert worden. In einer Bachelorarbeit wurde der Partitionierungsalgorithmus von Dobryal nachimplementiert und mit dem Framework gekoppelt.

Der Algorithmus vernachl√§ssigt allerdings aktuell sowohl den zeitlichen Aspekt (ist eine Komponente lang genug inaktiv, um auch wirklich ausgeschalten werden zu k√∂nnen) als auch den Overhead, der durch die Partitionierung entsteht -- beispielsweise m√ľssen Isolationszellen an den Domaingrenzen platziert werden. Die Betrachtung der bislang vernachl√§ssigten Parameter (Zeit, Overhead) soll im Rahmen dieser Masterarbeit umgesetzt werden.
    
Deine Aufgabe:

Der graphbasierte Algorithmus soll in dieser Masterarbeit dahingehend erweitert werden, dass dieser sowohl die zeitlichen Aspekte wie auch den durch die Partitionierungsentscheidung eingef√ľhrten Overhead mit einbezieht. Der Algorithmus soll anschlie√üend im Framework implementiert, anhand mehrerer Benchmarks evaluiert und mit dem bisherigen Verfahren verglichen werden.

Die Umsetzung erfolgt wahlweise in Scala oder Java. Zudem werden die Tools Design Compiler (Synopsys) und Questasim/Modelsim (MentorGraphics) zum Einsatz kommen.

Ansprechpartner: Dustin Peterson

Automatisierter Scanpath Vergleich

Beschreibung:
Menschen können ihre Aufmerksamkeit gezielt lenken. Eine Methode diese Aufmerksamkeitszuweisung aufzuzeichnen sind Eye-Tracking Aufnahmen: Objekte, die momentan interessant sind, werden mit den Augen fixiert. Oftmals ist es nicht nur interessant, wohin einzelne Individuen ihre Aufmerksamkeit lenken, sondern auch ein Vergleich zwischen Individuen oder verschiedenen Zeitpunkten. Hierzu werden diese auf einfache Elemente reduziert: Fixationen und Sakkaden (schnelle Augenbewegungen). Die zeitliche Abfolge und räumliche Position von Fixationen und Sakkaden nennt man Scanpath. Aktuelle Vergleichsmetoden basieren auf zwei verschiedenen Ansätzen:

  • Umwandlung des Scanpaths in eine String-Repr√§sentation und Anwenden bioinformatischer String-Alignment Techniken.
  • Vergleich der Scanpaths als Vektorpfad.

Beide Methoden zeichne sich durch massive Einschränkungen und sehr begrenzte Anwendbarkeit aus: Sie funktionieren generell nur bei einfachen Scanpaths und unbewegtem Betrachter gut. Deshalb ist die Analyse von Hand noch immer sehr verbreitet, obwohl hierdurch Objektivität verloren geht und viel Zeit nötig ist.

Aufgabenstellung:
Ziel dieser Arbeit ist die Verbesserung bestehender Scanpath Vergleichsmethoden. Dies beinhaltet zum einen das Finden geeigneter Distanzmetriken, zum anderen die Anwendung von Pattern-Recognition Verfahren. Das Erkennen und Wiederfinden kurzer Wiederholter Muster (Schulterblick oder Blick in den R√ľckspiegel beim Autofahren) k√∂nnte die momentane Verfahren deutlich verbessern.

Ansprechpartner: Jun.-Prof. Dr. Enkelejda Kasneci, Dr. Thomas K√ľbler

Klassifikation emotionaler Zustände durch Herzratenvariabilität

Beschreibung:

Der Ausdruck und das Verstehen von Emotionen stellen nicht nur √úberleben sondern auch unser Wohlbefinden im t√§glichen Leben sicher. Menschliche Kommunikation und damit Entscheidungsfindungen basieren stark auf Emotionen. Wissenschaftler erforschen diesen Sachverhalt im Feld Mensch-Computer Interaktion,umdieInteraktionzwischenMenschen und elektronischen Gera ?ten zu verbessern. Mit dem Aufkommen von kosteng√ľnstiger mobiler Hardware, welche es erlaubt die Herzaktivit√§t oder andere k√∂rperliche Signale aufzuzeichnen, ist das Interesse solche Informationen in Alltagsger√§tschaften wie Smartphones zu integrieren stetig gestiegen. Neben der quantified-self Bewegung hat der wissenschaftliche Aspekt automatisiert k√∂rperliche Signale in Kommunikationshilfen f√ľr bewegungseingeschr√§nkte Menschen zu integrieren hohe Wichtigkeit.

Ziele:

Die Ziele dieser Thesis sind zweifältig. Analyse bereits aufgenommener Herzaktivitätdaten durch Herzratenvariabilität bezogen auf drei unterschiedliche emotionale Zustände, i.e. angenehm, neutral, unangenehm. Automatisierte Klassifikation dieser Merkmale in geeignetem maschinellem Lernansatz.

Ansprechpartner: Dirk Tassilo Hettich

Erweiterung des c-VEP Brain-Computer Interface (BCI) durch einen non-control state

Beschreibung: Ein Brain-Computer Interface (BCI) ist eine Schnittstelle zwischen dem menschlichen Gehirn und einem Computer und soll es k√∂rperlich gel√§hmten Patienten m√∂glich machen einen Computer √ľber reine Gehirnaktivit√§t zu steuern. Das in T√ľbingen entwickelte c-VEP BCI ist das momentan schnellste nicht-invasive BCI System.


Aufgabenstellung:

Auch wenn das c-VEP BCI momentan schon sehr schnelle und genaue Bedienung erm√∂glicht, so l√§uft es momentan noch in einem synchronen Modus, in dem nach einem festgelegten zeitlichen Muster eine Eingabe erwartet wird und die Person die das BCI steuert somit keine Pausen machen kann. Ziel dieser Arbeit soll es sein die Bedienung des c-VEP BCIs auch in einem asychronen Modus zu erm√∂glichen. Das BCI soll somit non-control states erkennen, also ob der Benutzer gerade das BCI bedienen will oder ob er gerade eine Pause macht. Im Rahmen der Arbeit sollen Methoden zur Erkennung des non-control states die in anderen BCIs Anwendung finden auf das c-VEP BCI √ľbertragen werden und deren Genauigkeit an vorhandenen c-VEP Daten simuliert werden. Abh√§nging von den erzielten Ergebnissen kann eine Erkennung des non-control states auch in die vorhandene BCI Software eingebaut werden und an Probanden getestet werden.

 

Anforderungen:

Interesse an Neurowissenschaften, gute Programmierkentnisse und Erfahrung in Matlab sind von Vorteil.

Ansprechpartner: Dr. Martin Sp√ľler

Using spiking neural networks to simulate the effect of BCI-Training

Description:

A Brain-Computer Interface (BCI) is a tool that allows to control a computer by brain activity only. Its main application is to establish communication for paralyzed patients, but BCIs are also used for stroke rehabilitation and to improve recovery in those patients.

Especially in the latter case, the training effects during BCI usage play an important role since they induce neural plasticity and thereby help recovery in those patients. While it is a fact that using a BCI induces training effects and thereby neural plasticity, it is unknown how the BCI affects neural plasticity and how the BCI can be designed to optimize training effects.

 

Task:

The idea behind this thesis is to simulate the effects of BCI training by using a spiking neural network. Chadderon et al. (2012, Plos One) have shown that spiking neural networks with reinforcement learning can be used to learn motor control of a simulated limb. A similar model should be implemented in the course of the thesis. Based on this spiking neural network model, an EEG recording should be simulated and used to control a BCI application. The output of the BCI can be used to give sensorimotor feedback to the neural network and thereby enable the neural network to learn better BCI control and thereby simulate the effects of BCI training. This model can be further used to evaluate how different BCI algorithms influence the learning and how they have to be designed to optimize learning.

Ansprechpartner: Dr. Martin Sp√ľler

Using Spiking Neural Networks to model the effects of stroke on the human motor system

Description:  Stroke is one of the leading causes for disability. In the last years, Brain-Computer Interfaces (BCIs) have emerged as a tool to translate brain activity and it has been shown that BCIs can successfully used for stroke rehabilitation and to improve recovery in those patients.    The training effects during BCI usage play an important role since they induce neural plasticity and thereby help recovery in those patients. While it is a fact that using a BCI induces training effects and thereby neural plasticity, it is unknown how the BCI affects neural plasticity and how the BCI can be designed to optimize training effects. To be able to simulate the effects of BCI training in stroke patients, a computational model is needed.

Task: Chadderon et al. (2012, Plos One) have shown that spiking neural networks with reinforcement learning can be used to learn motor control of a simulated limb. An improved version of this network has been implemented in our lab. The focus of this work lies on extending the simulation of the simulated limb to be more realistic (including different muscles), adjust the neural network to be able to learn motor control of the more complex limb and investigate how effects of stroke can be modeled (by removing certain connections or neural populations).

Requirements: High motivation, Good programming skills, experience with Matlab and a neuroscientific background is beneficial.

Ansprechpartner: Dr. Martin Sp√ľler

Anwendung bekannter Algorithmen zur Klassifikation von Augenbewegungen aus Messdaten von Realfahrten bei der Daimler AG

Beschreibung:
Bei der Bestimmung der visuellen Aufmerksamkeit eines Fahrers spielen Augenbewegungen, insbesondere Fixationen und Sakkaden, eine entscheidende Rolle. Zur Erkennung dieser Augenbewegungen auf Basis eines Kamerasignals sind in den letzten Jahren verschiedene Algorithmen entwickelt worden. Inwieweit diese Algorithmen auch bei Messdaten geringerer Qualität, wie z.B. aus Realfahrten, zuverlässige Ergebnisse liefern, muss jedoch evaluiert werden.

 

Aufgabenstellung:
Nach der Einarbeitung in den Stand-der-Technik, sollen bestehende Verfahren zur Klassifikation der Augenbewegungen in MATLAB re-implementiert werden. In einem ersten Schritt sollen diese Algorithmen auf Kameradaten h√∂herer Qualit√§t aus Fahrsimulatorfahrten angewendet und mit den Ergebnissen aus der Literatur verglichen werden. Anschliessend werden sie auf reale Fahrdaten erwarteter Serienqualit√§t angewendet und ggf. an diese Daten geringerer Qualit√§t angepasst. Zudem werden die Algorithmen in ein online-f√§higes Simulinkmodell zur Verwendung im Versuchstr√§ger √ľbertragen werden.

Ansprechpartner: Jun.-Prof. Dr. Enkelejda Kasneci

Auswahl und Evaluierung von Metriken zum Vergleichen von Bildern

Hintergrund:

Im Rahmen eines laufenden Projekts zur nachtr√§glichen Erzeugung von Umweltbedingungen werden Verfahren zur Verifikation der Algorithmen ben√∂tigt. Daf√ľr ist es notwendig, die k√ľnstlich erzeugten Szenen mit Bildern echter Umwelt- und Witterungsbedingungen zu vergleichen. Hierzu steht uns bisher nur eine kleine Anzahl an M√∂glichkeiten zu Verf√ľgung. Um eine umfassende Bewertung der erzeugten Bilder zu erm√∂glichen, interessiert uns, welche Metriken die besten Aussagen √ľber die √Ąhnlichkeit zweier Bilder hinsichtlich definierter Eigenschaften zulassen.

Aufgabenstellung:

Es sollen Methoden aus der Statistik und Bildverarbeitung ausgew√§hlt, in MATLAB umgesetzt und schlie√ülich hinsichtlich ihrer Eignung bewertet werden. Wird beispielsweise die Bildhelligkeit k√ľnstlich variiert, soll das k√ľnstliche Bild sich m√∂glichst √§hnlich zu einem Bild der gleichen Szene unter anderen Lichtverh√§ltnissen verhalten. Und in dieser Arbeit sollen die entsprechenden Metriken, die eine solche Aussage zulassen getesten und gefunden werden. Erste Ansatzpunkte sind vorhanden, eine weitergehende Recherche nach geeigneten Verfahren ist aber notwendig. Die ben√∂tigten Testdaten werden zur Verf√ľgung gestellt.

Ansprechpartner: Dennis Hospach, Stefan M√ľller