Vortrag über Künstliche Intelligenz, Deep Neural Networks und Deep Learning

Am 19. Juni 2018 hielten wir einen Vortrag (auf Deutsch) über Künstliche Intelligenz, Deep Neural Networks und Deep Learning am Technologiehof Münster in der Let’s Talk-Reihe des Venture Club Münster.

Unser Vortrag ist auf Youtube verfügbar und beginnt mit 20 Minuten aktueller Forschungsmeilensteine zu Anwendungen für Deep Neural Networks. In den folgenden 40 Minuten erklären wir die zugrundeliegenden mathematischen Prinzipien von Deep Neural Networks und Deep Learning und führen in Implementierungen mit Python und Tensorflow sowie Java und Deeplearning4j ein.

Wir halten regelmäßig Vorträge über Deep Neural Networks, Deep Learning, Künstliche Intelligenz und Software as a Service (SaaS), da sie im Herzen von LoyJoy stehen. Wenn du Feedback hast oder uns einladen möchtest, bei deiner Veranstaltung zu sprechen, lass es uns wissen. Besonderer Dank geht an die Technologieförderung Münster fürs Hosting!

Behandelte Konzepte:

• Ein künstliches neuronales Netzwerk ist ein Netzwerk künstlicher Neuronen, das lose ein biologisches Gehirn modelliert. Es bildet numerische Eingaben auf Ausgaben ab und kann für Aufgaben wie Computer Vision, Spracherkennung und maschinelle Übersetzung trainiert werden.

• Deep Learning ist eine Machine-Learning-Methode zum Trainieren tiefer neuronaler Netzwerke, d.h. künstlicher neuronaler Netzwerke mit mehreren Schichten.

• ImageNet ist eine visuelle Datenbank mit mehreren Millionen beschrifteter Bilder, die für die Forschung zur visuellen Objekterkennung verwendet wird.

• Ein Convolutional Neural Network (CNN) ist eine Klasse künstlicher neuronaler Netzwerke, die vom visuellen Kortex inspiriert ist. Es wird hauptsächlich in Computer Vision verwendet, hat aber auch Anwendungen in anderen Bereichen wie der natürlichen Sprachverarbeitung (NLP).

• Ein Recurrent Neural Network (RNN) ist eine Klasse künstlicher neuronaler Netzwerke mit Feedback-Verbindungen zwischen Schichten. Es kann auf Aufgaben angewendet werden, die aus Sequenzen bestehen, wie Handschrifterkennung, Spracherkennung und maschinelle Übersetzung. Betroffen vom Vanishing-Gradient-Problem.

• Long Short-Term Memory (LSTM) ist ein spezifischer Typ von RNN-Neuronen oder -Schichten, der das RNN-Vanishing-Gradient-Problem adressiert. Anwendungen umfassen Grammatiklernen, maschinelle Übersetzung, Spracherkennung und Zeitreihenvorhersage.

• Backpropagation ist ein Algorithmus zum Trainieren tiefer neuronaler Netzwerke. Für eine gegebene Eingabe aus den Trainingsdaten wird die Ausgabe des Netzwerks berechnet und mit der gewünschten Ausgabe aus den Trainingsdaten verglichen. Basierend auf diesem Ergebnis und einer Loss-Funktion wird ein Gradient berechnet, um die Gewichte des tiefen neuronalen Netzwerks zu aktualisieren.

• Stochastic Gradient Descent (SGD) ist eine iterative Methode zur Minimierung der Loss-Funktion. Einige Erweiterungen von SGD sind Momentum-Methode, AdaGrad, RMSProp und Adam, die dynamische Lernraten, d.h. Schrittgrößen pro Iteration, bieten.

• Eine Aktivierungsfunktion definiert die Ausgabe eines Neurons abhängig von den Eingaben. Sie modelliert lose das biologische Aktionspotential und muss für nichttriviale Probleme nichtlinear sein.

Die im Vortrag behandelten Forschungsarbeiten und Beispiele sind:

• Tensorflow Playground

• Tensorflow Artwork Classifier

• ImageNet Classification with Deep Convolutional Neural Networks

• Colorization of Black and White Photographs

• Deep Visual-Semantic Alignments for Generating Image Descriptions

• Generating text with recurrent neural networks

• Visually indicated sounds

• Generating sequences with recurrent neural networks

• Playing Atari with Deep Reinforcement Learning

• Using Deep Learning and Google Street View to Estimate the Demographic Makeup of the US

• Automated Inference on Criminality using Face Images

• Deep neural networks are more accurate than humans at detecting sexual orientation from facial images

• An overview of gradient descent optimization algorithms

• Arxiv Sanity Preserver

‍