KI-Beratung und Machine Learning Blog

Was tut ML?

Zur Definition von Deep Learning und um den Unterschied zum Machine Learning zu verstehen, müssen wir zunächst verstehen, was Algorithmen des maschinellen Lernens tun. Maschinelles Lernen entdeckt Regeln für die Ausführung einer Datenverarbeitungsaufgabe. Weiterhin gibt es Beispiele, was erwartet wird. Folgende 3 Dinge werden benötigt um maschinelles Lernen durchzuführen:

1. Eingabepunkte: Zum Beispiel Bilder oder Tondateien.
2. Beispiele für die erwartete Ausgabe: Tags „Hund“, „Katze“ oder Transkripte einer Tondatei.
3. Messung der Performance des Algorithmus: Bestimmung von Abstand des aktuelle Ergebnisses zu dem Erwarteten. Messung wird als Feedback-Signal genutzt. Ziel: Funktionsweise des Algorithmus anpassen. Anpassungsschritt heißt lernen.

Machine Learning Systeme wandeln Eingabedaten in relevante Ausgaben um. Dieser Prozess wird mittels bekannten Beispielen durch Ein- und Ausgaben „gelernt“. Das zentrale Problem bei Machine, wie auch Deep Learning, ist es, die Daten adäquat zu transformieren. Sprich: Das System soll nützliche Darstellungen der vorliegenden Daten lernen. Diese gelernten Darstellungen sollen uns dem erwarteten Ergebnis näher bringen.

Was ist eine Darstellung?

Im wesentlichen ist es eine Art Daten zu betrachten, darzustellen oder zu codieren. Ein Farbbild kann man zum Beispiel in RGB- (rot-grün-blau) oder HSV-Format (Hue-saturation-Wert) codieren. Weiterhin sind diverse Aufgaben in unterschiedlichen Darstellungen trivialer oder komplexer. Beispielsweise ist die Aufgabe „Alle roten Pixel zu wählen“ im RGB-Format einfacher. „Das Bild weniger gesättigt machen“ ist hingegen im HSV-Format leichter. Genau darum geht es im Machine Learning: Das Ziel ist geeignete Darstellungen für die Eingabedaten zu finden. Hierbei sollen die Daten entsprechend übertragen werden, um sie für die Aufgabe zugänglicher zu machen.

Betrachten wir hierzu das kommende Beispiel. In kommender Grafik sehen wir ein Koordinatensystem in welchem weiße und schwarze Punkte abgetragen sind. Wir möchten einen Algorithmus entwickeln, der die Koordinaten eines Punktes aufnimmt und dann mit einer gewissen Wahrscheinlichkeit sagen kann, ob der Punkt schwarz oder weiß ist.

In diesem Kontext liegen uns folgende Informationen vor:

• Eingabepunkte: Koordinaten der Punkte.
• erwartete Ausgaben: Farben der Punkte.
• Messung der Performance des Algorithmus: Beispielsweise Prozentsatz der richtig klassifizierten Punkte.

Zur Lösung des Problems benötigen wir eine neue Darstellung unserer Punkte, die die weißen von den schwarzen Punkten klar trennt. Eine denkbare Transformation zur Lösung des Problems ist eine Koordinatenänderung, vergleich das kommende Bild.

Durch die Transformation sind die Koordinaten unserer Punkte eine neue Darstellung unserer Daten. Und es ist eine verdammt gute Darstellung. Nun können wir die Daten durch eine Klassifikationsregel beschreiben. Denn „schwarze Punkte sind Punkte mit x-Koordinate größer 0“ und „weiße Punkte sind Punkte mit x-Koordinate kleiner 0“. Somit lösen die neue Darstellung in Kombination mit dieser Regel das Klassifikationsproblem.

Was ist mit komplexeren Darstellungen?

In dem Beispiel haben wir die Darstellung beziehungsweise die Koordinatenänderung „von Hand“ ausgeführt. Hierbei nutzten wir unsere menschliche Intelligenz um eine für uns sinnvolle Darstellung zu nutzen. Für einfache Probleme ist dies praktikabel. Wie sieht es jedoch bei der Klassifikation von Bildern von handgschriebenen Ziffern aus? Können wir tatsächlich explizite, durch den Computer ausführbare, Bildtranformationen schreiben, die den Unterschied zwischen einzelnen Ziffern über unterschiedliche Handschriften hinweg erkennt? In der Tat geht dies bis zu einem gewissen Grad.

Die ersten Computer

Die ersten Computer wurden noch vor dem Begriff Machine Learning entwickelt. Im viktorianischen England wurde der erste bekannte mechanische Allzweckcomputer erfunden. Sein Erfinder ist Charles Babbage. Der Name der Maschine ist Analytical Engine. Lady Ada Lovelace war eine Freundin und Mitarbeiterin von Charles Babbage. Die Analytical Engine war ihrer Zeit voraus. Entwickelt in den 1830 und 1840, war sie dennoch zunächst nicht als Allzweckcomputer gedacht. Dies ist dem Grund geschuldet, dass das Konzept der Allzweckberechnung zunächst noch entdeckt werden musste.

Im Jahr 1843 stellt Lady Ada Lovelace über die Analytical Engine fest:

• Die Analytical Engine besitzt keinerlei Anspruch irgendetwas hervorzubringen.
• Die Maschine kann alles machen, was wir wissen, um es umzusetzen.
• Die Aufgabe der Analytical Engine ist es uns dabei zu helfen, das verfügbar zu machen, mit dem wir schon vertraut sind.

Selbst heute (2023) sind Lady Lovelace Feststellungen aktuell:

• Kann ein Allzweckcomputer etwas entstehen lassen? Oder muss er immer Prozesse stumpf ausführen, die Menschen hingegen voll und ganz verstehen?
• Kann ein Allzweckcomputer jemals zu originellen Gedanken fähig sein?
• Kann die Maschine aus Erfahrung lernen?
• Kann eine Maschine Kreativität entwickeln/zeigen?

Alan Turing zitiert im Jahre 1950 in seiner wegweisenden Arbeit Computing Machinery and Intelligence diese Gedanken als Lady Lovelace Einwand. Weiterhin wurden In dieser Arbeit der Turing-Test, sowie Schlüsselkonzepte vorgestellt, die KI prägen. Tatsächlich war Turing damals der Ansicht, und vertrat diese Standpunkt auch aktiv, dass Computer im wesentlichen alle Aspekte menschlicher Intelligenz nachbilden können.

Ein neues Programmier-Paradigma

Der konventionelle Weg einen Computer für sich arbeiten zu lassen, ist es durch einen Menschen ein Computerprogramm schreiben zu lassen. Der Computer befolgt dann dieses Programm. Mit dem Ziel Eingabedaten in adäquate Antworten umzuwandeln. Machine Learning dreht dies um. Die Maschine verarbeitet die Daten und Antworten und findet hieraus die Regeln heraus. Dies ist in kommender Grafik nochmals visualisiert.

Machine-Learning-Systeme werden nicht programmiert. Viel mehr trainiert der Menschen sie. Trainieren heißt in diesem Zusammenhang: Dem System werden viele, für die Aufgabe wichtige, Beispiele präsentiert. Hierbei findet das System in den Beispielen eine statistische Struktur, welches es dem System ermöglicht, Regeln für eine Automatisierung zu generieren. Ein Beispiel ist die automatisierte Markierung von Urlaubsbilder. Man muss hierzu einem maschinellen Lernsystems eine Vielzahl an, vom Menschen markierten, Beispielbildern präsentieren. Das System lernt hierbei statistische Regeln. Diese nutzt das System wiederum um Bilder zu taggen.

Was ist Maschinelles Lernen?

Maschinelles Lernen begann in den 1990 zu florieren. Seit dem hat es sich schnell zu dem beliebtesten und erfolgreichsten Teilgebiet der KI entwickelt. Dabei wird dieser Trend vor allem durch die Verfügbarkeit von schneller Hardware und großen Datensätzen forciert.

Maschinelles Lernen ist mit mathematischer Statistik verbunden. Jedoch unterscheidet sich Machine Learning in mehreren Facetten von Stochastik. Genauso, wie Medizin mit Chemie verwandt ist. Trotzdem kann man Letztere nicht auf Chemie reduzieren. Ebenfalls hat Medizin mit seinen eigenen verschiedenen Systemen und verschiedenen Eigenschaften zu tun.

Grundlegende Unterschiede zwischen Machine Learning und klassischer Statistik:

• Arbeit mit gigantische Datensätzen (beispielsweise ein Datensatz mit Millionen Bilder mit jeweils mehreren Tausend Pixeln) für welche klassische statistische Methoden unpraktisch sind.
• Machine und Deep Learning weisen jeweils vergleichsweise wenige mathematische Theorie auf. Deswegen sind es im Grund Ingenieursdiziplinen.
• Maschinelles Lernen ist ein sehr praktisches Feld. Hierbei wird es von empirischen Erkenntnissen vorangetrieben. Dabei ist es stark von Weiterentwicklungen im Bereich Soft- und Hardware geprägt.

Quellen

Deep Learning with R

Der Beginn von KI

Das wissenschaftliche Feld der KI existiert seit den 1950iger Jahren. Die Dartmouth Conference im Jahr 1956 gilt als die Geburtsstunde der KI. Zwar sind viele der Grundlegenden Ideen in den Jahren oder gar Jahrzehnten zuvor entwickelt worden. Jedoch entstand der Begriff künstliche Intelligenz als der junge Assistenzprofessor für Mathematik mit dem Namen John McCarthy einen Sommer-Workshop hielt. Dies Geschah am Dartmout College. Der Workshop fand unter den folgenden Zielen bzw. Annahmen statt:

• Jeder Aspekt des Lernens oder jedes andere Merkmal von Intelligenz kann im Prinzip so genau beschrieben werden, dass eine Maschine in simulieren kann.
• Ziel des Workshop ist es herauszufinden, wie man Maschinen dazu bringen kann, Sprache zu nutzen, Abstraktion und Konzepte zu verwenden, Probleme zu lösen, die derzeit Menschen vorbehalten sind, und sich dabei zu verbessern.
• Die Veranstalter des Workshop sind sich sicher, dass bei einem oder mehreren Zielen ein bedeutsamer Fortschritt generiert werden kann, falls eine wohlgewählte Gruppe Wissenschaftler einen Sommer daran forscht.

Der Workshop endet mit dem Ende des Sommers. Die Ziele sind nicht erreicht. Dennoch der Workshop hat einen Stein ins Rollen gebracht . Bis heute forscht man in diesem Bereich. Heute mehr den je.

Symbolische KI

Kurz zusammengefasst. Künstliche Intelligenz soll intellektuelle Aufgaben automatisiere, die aktuell dem Menschen vorbehalten sind. Artificial Intelligence ist ein sehr allgemeines Gebiet. Es umfasst Machine und Deep Learning. Jedoch auch eine Vielzahl weiterer Methoden und Ansätze. Auch jene, die kein Lernen enthalten. Bis in die 1980iger haben die meisten KI-Lehrbücher das Wort Lernen nicht behandelt. Erste Schachcomputer basierten auf hartcodierten Regeln. Diese erstellten Programmierer. Somit handelt es sich hierbei (nach heutigen Paradigmen) nicht um maschinelles Lernen. Lange Zeit vertraten Experten die Ansicht, das künstliche Intelligenz auf menschlicher Ebene erreicht wird. Hierbei sollten Programmierer einen hinreichend großen Satz von expliziten Regeln für die Manipulation von Wissen, welche in expliziten Datenbanken gesichert ist. Dieser Ansatz heißt symbolische KI. Hierbei handelt es sich um das vorherrschende Paradigma im Bereich KI zwischen 1950 und den späten 1980.

Paradigmenwechsel zu Machine Learning

Symbolische KI ist also in der Lage klar definierte logische Probleme, wie beispielsweise Schachspiele, zu lösen. Jedoch erweist sich symbolische KI hingegen als unlösbar, explizite Regeln für die Lösung komplexer, unscharfer Aufgaben, wie Bild-, Spracherkennung oder Sprachübersetzung zu entwickeln. Ein Ansatz, welcher hierzu in der Lage ist, ist das Machine Learning.

Quellen

Deep Learning with R

Geschichte der künstlichen Intelligenz

In diesem Blog widmet sich unsere Statistik-Beratung dem Thema künstliche Intelligenz (KI), Machine Learning und Deep Learning. Weiterhin wollen wir mit unserem Wissen in KI-Beratung weiterhelfen. Sprachassistenten, Smart Home, selbstfahrende Autos, Bilderkennung und weitere Technologien halten seit Jahren Einzug in unser Leben. Sie stammen alle aus dem Informatik-Bereich Artificial Intelligence bzw. auf deutsch KI.

Im Weiteren werden wir in unserer KI-Beratung auf die Begriffe KI, Machine und Deep Learning kurz eingehen. In hierauf folgenden Artikeln werden wir immer tiefer in die Thematik kommen. Somit wird mittels dieses Blogs ein grundlegender Überblick über KI-Beratung geschaffen.

KI

Der Bereich KI umfasst dabei sämtliche Bemühungen Maschinen intelligent zu machen. Intelligenz ist hierbei die Eigenschaft angemessen und vorausschauend in seiner Umwelt zu agieren. Hierzu gehört es Sinneseindrücke wahrzunehmen und hierauf eine Reaktion folgen zulassen. Weiterhin gehört dazu Informationen zu empfangen, diese zu verarbeiten und als Wissen zu sichern. Ebenfalls gehört dazu Sprache zu verstehen und sie zu bewirken. Abschließend versteht man darunter Lösungen von Problemen zu liefern und die Erreichung von Zielen.

Machine Learning

Machine Learning ist eine Teildisziplin der KI. Es ist dabei ein Oberbegriff für künstliche Entwicklung von Wissen aus Erfahrung. Hierbei lernt ein künstliches System aus Beispielen. Nach Ende der Lernphase kann das System diese Beispiele verallgemeinern. Hierzu nutzen die Algorithmen statistische Modelle, die auf Trainingsdaten beruhen. Im Anschluss erfolgt eine Prüfung der Modelle gegen Testdaten. Die Algorithmen lernen die Beispiele also nicht auswendig, hier wird von overfitting gesprochen, vielmehr erkennen die Algorithmen Muster und Gesetzmäßigkeiten in den Trainingsdaten. Das System kann somit auch unbekannte Daten bewerten (Lerntransfer) oder auch am Lernen ihm nicht bekannter Daten scheitern (overfitting). Machine Learning Algorithmen werden unter Anderem im Kreditkartenbetrug, Sprach- und Texterkennung und weiteren Feldern genutzt.

Deep Learning

Deep Learning ist hierbei Teil des Machine Learnings. Künstlich neuronale Netze finden dabei Verwendung. Neuronale Netze sind flexible statistische Algorithmen. Mit ihnen löst man Regressions-, Klassifikation-, Prognose- und weitere Probleme. Hierbei funktionieren neuronale Netze im Groben durch eine Eingabeschicht, in welcher die Daten eingeben werden. Weiterhin gibt es eine Zwischenschicht. Hier erfolgt die Verarbeitung der Daten. Die Letzte Schicht heißt Ausgabeschicht. Hier resultiert das letztendliche Ergebnisse. Beim Deep Learning nutzt man eine Vielzahl an Zwischenschichten, sodass hierdurch im neuronalen Netz eine komplexe innere Struktur entsteht.

KI-Beratung: Zusammenfassung

Deep Learning ist also ein Teil von Machine Learning und Machine Learning ist ein Teil von KI. Vergleiche die kommende Grafik. KI umfasst dabei die statistischen Modelle und Methoden, wie auch die Komponenten der Informatik. Machine Learning umfasst unter Anderem diverse statistische Algorithmen. Diese werden an Lerndaten trainiert. Die Modelle werden mit Testdaten bestätigt. Deep Learning nutzt neuronale Netze mit einer Vielzahl an Zwischenschichten. Dies dient dazu den Lernprozess zu optimieren.

Quellen

Deep Learning with R

Deep Learning- Wikipedia

Künstliche Intelligenz- Wikipedia

Maschinelles Lernen – Wikipedia