Zur Seitenansicht

Titelaufnahme

Zugriffsbeschränkung
  •  Das Dokument ist frei verfügbar
Links
Dateien
Klassifikation
Zusammenfassung
  • Spiking Neural Networks (SNNs) versprechen energieeffiziente, skalierbare Berechnungen, die vom biologischen Gehirn inspiriert sind. Die Übertragung biologisch plausibler Lernalgorithmen in effektive künstliche Systeme stellt jedoch erhebliche rechnerische und konzeptionelle Herausforderungen dar. Diese Dissertation behandelt zwei zentrale Aspekte: skalierbares, ereignisgetriebenes Lernen und biologisch inspiriertes kontinuierliches Lernen durch Erweiterungen und Anpassungen des Eligibility Propagation (e-prop) Algorithmus, einer biologisch inspirierten Alternative zu Backpropagation Through Time (BPTT). Im ersten Projekt wird eine ereignisbasierte Adaption von e-prop vorgestellt, die von kontinuierlichen, zeitgetriebenen Berechnungen zu asynchronen, ereignisgesteuerten Aktualisierungen übergeht. Unser Ansatz berücksichtigt biologische Randbedingungen wie synaptische Verzögerungen und räumlich-zeitliche Lokalität und erhöht dadurch die biologische Plausibilität. Durch die Entkopplung von Zeitkonstanten und die Einführung flexibler Aktualisierungsmechanismen, die durch neuronale Spikes ausgelöst werden, bleibt die rechnerische Effizienz erhalten, und wir demonstrieren eine skalierbare Leistungsfähigkeit anhand von Benchmarks wie dem neuromorphen MNIST. Als natürliche Fortsetzung, die auf diesen Grundlagen aufbaut, behandelt das zweite Projekt das Problem des katastrophalen Vergessens, eine wesentliche Herausforderung des kontinuierlichen Lernens. Inspiriert von synaptischer Konsolidierung und neuromodulierter Plastizität in biologischen Systemen schlagen wir ein Framework vor, das pro Synapse Online-Salienz-Spuren verwendet, die kontinuierlich mit lokal verfügbarer Gradienteninformation aktualisiert werden – ohne auf explizite Aufgabenübergänge oder mehrere Daten-Durchläufe angewiesen zu sein. Aufgabenwechsel werden mithilfe der Bayesian Online Changepoint Detection (BOCD) selbstständig erkannt, was die Auslösung neuromodulatorischer Signale zur effektiven Wissenskonsolidierung ermöglicht .Zusammen zeigen diese Projekte, dass biologisch inspirierte Mechanismen, unter Berücksichtigung biologischer Randbedingungen implementiert, sowohl skalierbares ereignisbasiertes Lernen als auch robustes kontinuierliches Lernen ermöglichen.
Abstract
  • Spiking neural networks (SNNs) promise energy-efficient, scalable computation inspired by biological brains. However, translating biologically plausible learning algorithms into effective artificial systems presents significant computational and conceptual challenges. This thesis addresses two important issues: scalable event-driven learning and biologically inspired continual learning, through extensions and adaptations of the Eligibility Propagation (e-prop) algorithm, a biologically inspired alternative to backpropagation through time (BPTT). In the first project, we introduce an event-based adaptation of e-prop, transitioning from continuous, time-driven computations to asynchronous, event-driven updates. Our approach respects biological constraints, such as synaptic delays and spatial-temporal locality, thereby increasing biological realism. By decoupling time constants and introducing flexible update mechanisms triggered by neuronal spikes, we maintain computational efficiency and demonstrate scalable performance on benchmarks like neuromorphic MNIST. As a natural continuation that builds on these foundations, the second project addresses catastrophic forgetting, an essential challenge in continual learning. Inspired by synaptic consolidation and neuromodulated plasticity observed in biological systems, we propose a framework utilizing per-synapse Online Saliency Traces, continuously updated via locally available gradient information without relying on explicit task boundaries or multiple data passes. Task transitions are autonomously identified using Bayesian Online Changepoint Detection (BOCD), triggering neuromodulatory signals to consolidate knowledge effectively. Together, these projects demonstrate that biologically inspired mechanisms, implemented with respect to biological constraints, enable both scalable event-based learning and robust continual learning.
Inhalt
Lizenz-/Rechtehinweis