CRE208 Neuronale Netze

Über aktuelle Durchbrüche im Bereich der Künstlichen Intelligenz und deren Auswirkungen

Episode image forCRE208 Neuronale Netze Der künstlichen Intelligenz im Allgemeinen und neuronalen Netzen im besonderen wurde schon immer eine große Zukunft vorausgesagt. Doch erst seit ein paar Jahren ist die Forschung und die Geschwindigkeit der Rechner so weit gediehen, dass wirkliche Durchbrüche zu erzielen waren. Persönliche Assistenten und andere hochkomplexe Analysen von Daten werden jetzt Realität und werden nicht folgenlos bleiben. Der Programmierer und Mathematiker Ulf Schöneberg erläutert, wie neuronale Netze funktionieren und welche Anwendungen künftig vorstellbar sind.

Dauer: 2:45:51

On Air
avatar Tim Pritlove Paypal Icon Bitcoin Icon
avatar Ulf Schöneberg
Shownotes:

79 Gedanken zu “CRE208 Neuronale Netze

  1. Juhu! Danke Tim, dass es bei CRE wieder weiter geht. Tolles Thema!
    Hab soeben auch mein Flattr Konto wieder aufgeladen, dieser Podcast muss auf jeden Fall belohnt werden!

  2. Super, eine neue Folge!
    In CRE161 – CCC und Öffentlichkeit wird auch die “Hacker-Fahrschule” am CERN erwähnt. Heute erst gehört:)

  3. Extrem interessante Folge!

    Ich bin fest davon überzeugt, dass die enorme Leistungssteigerung neuronaler Netze noch komplett unterschätzt wird. Das wird wird auf dem Arbeitsmarkt ganz böse einschlagen. Bisher ignoriert die Politik das absehbare Problem vollends obwohl wir bereits jetzt den Arbeitsmarkt und die sozialen System drastisch anpassen müssten.

    Es gibt bereits einen Bot der den ganzen Tag Musik produziert. Er/Sie? heisst Emily Howel und wird in diesem sehr sehenswerten Video an Position 12:18 angesprochen: https://www.youtube.com/watch?v=7Pq-S557XQU

    Bitte bitte macht doch einen Podcast mit Tim, Constanze, Frank & Holgi zur Auswirkung der Digitalisierung auf den Arbeitsmarkt und die Sozialsysteme!

  4. Wo begegnet uns Deep Learning?

    1. Improving Youtube Thumbnails with deep neural nets (http://googleresearch.blogspot.de/2015/10/improving-youtube-video-thumbnails-with.html)
    2. Google Voice Search (http://googleresearch.blogspot.de/2015/09/google-voice-search-faster-and-more.html)
    3. The neural networks behind Google Voice transcription (http://googleresearch.blogspot.de/2015/08/the-neural-networks-behind-google-voice.html)

    Bei bedarf den Research Blog von Google weiter durchklicken ;)

  5. Als mein Smartphone heute morgen angab, eine neue Folge CRE runtergeladen zu haben, glaubte ich ja zunächst an eine technische Störung des Pod-Feeds. Aber ich habe mich getäuscht. Vielen vielen Dank an euch beide für diese tolle Folge! Und es ist wirklich super zu hören, dass CRE nicht tot ist und du weiterhin daran arbeiten willst, Tim. Du hast mir den Weg zur Arbeit und zurück nachhause versüßt. Danke!

  6. Wie toll! nach langer Zeit endlich mal wieder ein CRE – da musste ich gleich heute meine 3-Stunden Autofahrt nutzen um es komplett zu hören – Wow, und das Thema passt sogar zu aktuellen Projekten. Ich bin 200% begeistert!
    Als ITler hätte mich noch etwas mehr interessiert, wie viel Belch man hinstellen muss um ordentliche Ergebnisse zu erhalten und wie lange so was “rechnet” in Stunden…

  7. Sehr, sehr schön, dass es weiter geht – und dann auch noch mit einem besonders interessanten Thema und vielen Hinweisen auf praktische Beispiele. Die Sendung habe ich gestern Abend gleich an einem Stück durchgehört (okay, und nebenbei einen Schrank aufgebaut ;-) ).

  8. und noch ein Nachtrag: bei Coursera gibt es einen Kurs (kostenlos) von Geoffrey Hinton, aus 2012, über “Neural Networks for Machine Learning”: https://class.coursera.org/neuralnets-2012-001

    Den habe ich schon vor einiger Zeit angefangen, oder wer in das Thema einsteigen will, ist dort an der richtigen Stelle. Los geht es bei Perceptrons, über das NIST Beispiel hin zu back propagation uvm.

  9. Kleine Anmerkung zum PageRank: was ihr beschreibt ist der (In)Degree, der ist sehr anfällig für Spam und wird daher bei keiner Suchmaschine so verwendet. Beim PageRank hat eine Seite einen hohen Rang, wenn andere Seiten die auf diese verlinken einen hohen Rang haben (ja, das ist rekursiv).

  10. Geniale Folge!!! Endlich wieder ein CRE.
    Aber, dass was an Neuronalen Netzen -vor allem an ihrer Anwendung – wichtig sein wird, ist zu wenig herausgekommen.
    Neuronale Netze lösen keine Probleme! Es ist eine geniale Methode Strukturen in Daten zu finden, die statistische Verteilung der einzelnen Datentupel auf dieser Struktur zu analysieren. Und aus dieser Verteilung Schätzungen abzugeben wo sich beliebige andere Elemente in diese Struktur einordnen lassen. Aber auch nicht mehr.

    Neuronale Netze wissen nichts, haben nichts gelernt, auch wenn dies den Anschein macht.

    Aber und das ist das erschreckende: Selbst die “Analysten”, die das Netzwerk erstellt haben, können nicht herausfinden, welche Logik hinter der Struktur steht. Noch haben Sie eine Aussage, mit welcher Wahrscheinlichkeit ein Treffer vorliegt. Zusätzlich ist es nicht unwahrscheinlich, dass eine Struktur auf Daten gefunden wird, welche gar nicht vorhanden ist. Die Ergebnisse sind extrem Überzeugend, aber selbst wenn ein Fehler sehr klein list, ist ein Fehler nicht auszuschließen.

    Wir werden uns noch freuen, wenn Neuronale Netze nicht nur Autos Steuern, sondern politische Entscheidungen beeinflussen.

  11. Was ich nicht verstehe: auf der einen Seite heißt es, dass einem neuronalen Netzwerk beizubringen ist, wie Shakespeare zu schreiben, aber auf der anderen Seite kommt nur Pseudo-C-Code heraus, wenn man einem n.N. vorher Kernel-Code eingetrichtert wird. Wat denn nu? Das Beispiel mit dem “non negative” ist ja sehr beeindruckend, aber so richtig bin ich immer noch nicht vom “Revolutionären” der n. N. überzeugt.

  12. hi . würd mir den Podcast gerne wie gewohnt über iTunes ziehen, aber irgendwas bockt da rum.. anstelle des “Lade-fortschritt-kreises” kommt da nur n Ausrufezeichen..

  13. Das war das spannendsde Thema bisher. Die neuronalen Netzwerke verändern vieles.
    Es gibt auch Grenzen.
    Experten wählen die Netzwerke aus und trainieren sie. Übersetzungen sind immer noch abenteuerlich, da die Grammatik nicht stimmt. Das Beispiel Positiv und Nichtnegativ in einen Topf zu werfen zeigt, dass ein NN keinen Mathematiker ersetzen kann. Auch Linguisten sind weiterhin gefragt:
    Das Netz, das die Text/Sprachanalyse durchführt, beruht auf der Annahme, dass die Wörter getrennt sind. Das ist im Chinesischen nicht der Fall. Linguisten trennen Sätze in Wörter auf.
    siehe den Vortrag von Dan Jurafsky aus Stanford über word tokenization.
    http://m.youtube.com/watch?v=jBk24DI8kg0
    Es wäre interessant, die Grenzen des Schach spielenden NN herauszufinden.

    Andererseits kann man mit NNs viele Dinge automatisieren, wie Bild- und Spracherkennung. Ein spannendes Thema

  14. I just had a nerdgasm :D

    Spaß beiseite: Ein hammer, hammer geiler CRE! Bin jetzt seit fast 10 Jahren treuer Hörer und diese Folge war die für mich bislang beste!

    Danke Tim und hoffentlich kommt hier noch ganz lange viel mehr :)

  15. Bezüglich regelmäßiger Erneuerung von Indizes in Datenbanken: Man nimmt doch heutzutage nicht mehr nur einfache B-Trees sondern self-balancing trees, z.B. Red-Black-Trees oder AVL-Trees.

    Der GIN Index in PostgreSQL ist als Red-Black-Tree realisiert und sollte dieses degenerative Verhalten daher nicht zeigen.

    Macht die Firma mit dem O hier noch was entscheidendes besser / anders? Ich ging immer davon aus, dass die auch nur mit Wasser kochen :)

  16. Danke, dass es endlich weiter geht, Tim! Bitte, Bitte, Bitte wieder mehr CRE!!! Ich höre auch Deine anderen Formate, aber das hier ist definitv das Beste IMHO. Und das Thema war auch genial, alles was der Geek braucht! Weiter so!

  17. Lieber Tim,

    danke für eine neue Folge. Für mich zusammen mit dem Astropeiler die beste Folge des ganzen Podcasts, ein unglaublich faszinierendes Thema. Werde mich da definitiv mal weiter einlesen.

    Martin

  18. Spannend das. Und Spaß gemacht hat’s auch :)

    Gibt es eigentlich schon Menschen, die NNs auf die großen literarischen Quellen unserer Kulturgeschichte losgelassen haben?
    Also Platon, Bibel, Cicero, Aristoteles und so?
    Nicht dass ich erwarten würde, dass da ernst zu nehmende philosophische/theologische Erkenntnisse bei rauspurzeln würden, aber Bezüge herzustellen und zu assoziieren ist ja das, was Geisteswissenschaften im Grunde ausmacht.
    Das heißt, dass man von den Ergebnissen eines NNs da so einige interessante Denkanstöße bekommen könnte, im Sinne davon, sich einige Stellen und mögliche Bezügsgrößen mal genauer anzuschauen.

  19. Lieber Tim,

    diese Folge ist ein echtes Highlight und zeigt, was Du am besten kannst: Interessante Themen und Gesprächspartner auftreiben; für angenehme Stimmung beim Interview sorgen; Fragen so stellen, daß man als Hörer denkt “genau das wollte ich gerade auch fragen”; regelmäßig den Stand der Diskussion zusammenfassen; usw.

    Peak Pritlove! (hmm, oder geht da noch was?)

    Bitte produziere noch viele, viele Podcasts in genau diesem Schema. Meine flattrs u.a. Spenden hast Du.

    Gruß

    Steffen

    • In der Tat, nach der Episode fragt man sich, welche Datensammlungen einen anderen Hauptzweck haben als Futter für ein neuronales Netz zu sein.

  20. Tim, Du machst mein CogSci-Herz glücklich, nachdem Du bei den Ohren eingebrochen warst, als es gerade begann, spannend zu werden mit der Hörverarbeitung! Danke, danke, danke :) Mehr davon! Kognition ist geil!

  21. Der original PageRank war meines Wissens die Randverteilung eines Markov Models, mit den Websites als States und der Anzahl an Links als Transition Probabilities.

  22. Hab grade bei Google earth rumgescrollt. Da werden ja jetzt schon alle Strukturen mit 3d Modellen abgebildet. Lieg ich da richtig dass so was auch mit neuronalen Netzen gemacht wird? Schreit ja eigentlich danach. Muster erkennen und dann 3d Struktur drauf werfen.

  23. Vielen Dank für den interessanten Podcast. Es wurde erwähnt das neuronale Netzwerke caskadiert werden. Beispiel war ca. das Erste erkennt die Punkte, das Zweite verbindet Punkte zu Linien, das Dritte interpretiert die Linien. Was mich interessiert wer definiert wann das erste Netzwerk fertig ist und das nächste Netzwerk das Lernen beginnt/die Arbeit übernimmt? Passiert das automatisch, gibt das die Anzahl der Neuronen pro Netzwerk vor oder müssen da die Entwickler eingreifen?

    • Soweit ich das verstanden habe, passiert das automatisch. Die Entwickler geben vor, wieviele Schichten das Netzwerk hat und aus wievielen Neuronen jede Schicht besteht, sowie welche Ausgabe das Netz für jeden Input aus dem Trainingsdatensatz haben soll (und ein paar technische Parameter wie die Lernrate). Und der Rest passiert dann von alleine.

      In diesem Video https://www.youtube.com/watch?v=AgkfIQ4IGaM wird wie ich finde recht gut dargestellt, wie ein gelerntes Netz aussieht bzw funktioniert (die unteren Schichten erkennen einfache geometrische Strukturen wie Hell-Dunkel-Übergänge, die oberen komplexere Dinge wie Gesichter).

  24. Danke für die schöne Sendung. Ich hätte mit noch ein paar Worte zu konkreter Software oder Bibliotheken gewünscht. Nach dem Hören hätte ich gerne direkt selbst ein neuronales Netz gebastelt.

  25. Der Podcast passt ja wirklich. Heute wurde Google Machine Learning Algorithmus mit einem umfassenden Tutorial veröffentlicht und das erste Projekt ist die MNIST Datenbank :D

  26. Sehr interessante Sendung! Ich finde man sollte das ganze auch mal etwas kritisch sehen und klar stellen, dass diese Systeme nicht denken und keine “Bedeutung” sondern nur Struktur erkennen können. D.h. die Bild Klassifikation “Katze” wird sehr wohl von Menschen definiert, denn es gibt schlicht keine logische Verbindung zwischen dem Wort und der Bedeutung. Das ist ein altes semiotisches Problem. Außerdem werden die Strukturen nur rein formal bewertet, daher kommt nur “Bullshit” raus, wenn man dem NN Sprache füttert. Hier wäre der Verweis auf Shannon sicher gut gewesen. Jede natürliche Sprache besteht aus 50% formalisierbaren und 50% nicht formalisierbaren Elementen. Ein System das rein formalisierbaren Strukturen besteht bildet Redundanz, was genau so 0 Information darstellt wie Rauschen. Ich denke es macht keinen Sinn solche Technologien von beiden Seiten zu mystifizieren, wie dies schon immer getan wurde. Und es gibt durchaus Probleme die nicht formalisierbar sind und man sollte dazu nicht vergessen, dass es sich bei einem NN nur um ein Modell handelt.
    Komischer weise wird bei solchen Diskussionen oft eine fast esoterische Idee von “Intelligenz” vermittelt. Ich denke ein wissenschaftlich/rational denkender Mensch müsste eigentlich lange aufgehört haben einen Unterschied zwischen Geist und Körper an zu nehmen. Dieser Körper lernt eben nicht nur Sprache etc. sondern auch den Umgang mit anderen, sprich ist sozial (oder auch nicht). Wer denkt man könnte dies alles mit einem formal logischen System abbilden ist den religiösen Vorstellungen von Leibniz ziemlich nahe…

  27. Toller Podcast, ein Zehntel so lang wie nötig.

    Seitdem frage ich mich was passiert wenn ich ein neuronales Netz mit Primzahlen füttere? Könnte das Netz irgendwann in der Lage sein zumindest zu sagen welche Zahlen mit einer höheren Wahrscheinlichkeit Primzahlen sind als andere?

    Hat das schon mal jemand probiert?
    Ich nehme an ja und es hat nicht funktioniert sonst wäre wohl einiges im Eimer.

    Gibt es jemanden der das weiß?

    • Cool, Herr Schöneberg hat mir auf dieselbe Frage per email geantwortet:

      Hey Alex,

      ist ne coole Frage, ich nehme an wenn man ein RNN Netzwerk mit genug
      hidden units trainiert, dann wird das Ding die Riemannsche Zeta Funktion
      erlernen, das ist so eine Art Näherungsfunktion für Primzahlen

      LG
      Ulf

    • Ich vermute eine Schwierigkeit ist, dass man nicht nicht sehr graduell besser werden kann im Primzahl erkennen.
      Optimierung ist schwierig, wenn es nur Primzahl oder nicht Primzahl gibt.

    • Kleine Anmerkung dazu. Zur Entscheidung, ob eine Zahl eine Primzahl ist, gibt es bereits effiziente Verfahren.
      Vielleicht hat es deshalb noch niemand probiert.

      Wenn es irgendwann ein effizientes Verfahren gibt, dass aus dem Produkt zweier Primzahlen die beiden Faktoren ermittelt, wäre ein Großteil der heute verwendeten Verschlüsselung und Signierung im Eimer.

      Das ist ja genau eines der wenigen Probleme, bei dem ein Quentencomputer dem klassischen Computer haushoch überlegen ist.

      • Guter Hinweis.
        So wie ich das Projekt verstehe, ist das Geld nicht nur für die Simulation sondern auch für die Erforschung des Gehirns. Die Simulation soll am Ende stehen. Die Kritik richtet sich hauptsächlich daran, dass wir keine Ahnung haben wie das Gehirn funktioniert,aber genau dafür gibt es doch das Geld(für die Neurowissenschaft).

        Oder habe ich da was falsch verstanden?

        Deswegen ja ein Podcast, der mal alles aufbereitet:
        Was für Vorbereitungen wurden bisher getroffen?
        Wo geht das Geld hin?
        Was gibt es für Kritik?
        Was sind die Ziele?

        Und alle 3 Jahre einen Zwischenbericht :-)

  28. hätte ruhig was komplizierter werden dürfen. fand ich nun erstaunlich basic und historisch. (die Folge “Das Ohr” fand ich da sehr toll. Ich hab in der Bahn lange gehadert ob ich einem Jungen mit Cochlea-Implantat den Podcast vorschlagen soll oder ob es unhöflich ist ihn auf sein Implantat anzusprechen. Hab ihn dann angesprochen und er hat mich nicht verstanden :/ )

    Natürlich dennoch besten Dank für beste Unterhaltung! Und yay: weiter gehts!

  29. @Tim: die Steuererklärungssache ist nur noch eine Frage des Geldes. Also: ob du an die Software dazu kommst. Ich habe neulich mal die Banking-App der Postbank ansehen dürfen: das Ding sortiert dir deine Kontoab- und Zugänge nach Kategorien. Und das läuft garantiert nicht in deinem Smartphone, sondern irgendwo auf einem Analyse-Server der Bank. Und ja, wenn was falsch zugeordnet wird, kannst du korrigieren, und das Ding lernt.
    Und ja, das ist sehr, sehr scary, wenn ich darüber nachdenke, was aus solchen Daten alles herauszulesen ist.

    @Ulf: ich würde gern mal mit dir ein wenig über die Vogelstimmen-App plaudern. Ich bin da nicht auf dem laufenden, was eine app angeht, aber es gibt unter http://www.xeno-canto.org eine unfassbar großartige Datenbank von Vogelstimmen-Enthusiasten – unter CC BY-NC-SA 4.0. Das NC machte mir da eigentlich immer Sorgen, denn wie will man eine Infrasturktur zur Erkennung ausziehen, wenn du das völlig non-commercial machen musst? Wenn Du da allerdings eine Idee hast oder sogar die richtigen Leute kennst, dann würde ich gern mal ein wenig Zeit in Überzeugungsarbeit stecken, um da irgendwie was anzustoßen.
    Ich habe leider selber von machine learning noch keine Ahnung, habe viel mehr oder weniger klassische Statistik gemacht, v.A. multivariates Zeug. Bayesian stats hab ich nicht weiter verfolgt. Aber das Grundverständis kann ich mir draufschaffen, um mir Leuten zu kommunizieren – die dann sowas auf die Beine Stellen könnten, also: den machine learning -Teil erarbeiten.

    Ich könnte möglicherweise Unterstützung von anderer Seite erarbeiten, traue mir sogar zu eventuell die Betreiber von xeno-canto für sowas zu begeistern.

    Ulf, du weißt bestimmt schon mal, was im Bereich Vogelstimmen-Erkennung schon gelaufen ist, oder? Und was da aktuell passiert sollte man natürlich auch beachten – nicht, dass da schon jemand so tief drinsteckt, dass das ein totes Pferd ist. Oder man jemandem die Butter vom Brot nimmt.

    Oh, BTW: können diese moving-window-Methoden schon mit Metaphern umgehen?

    Darmok und Jalad auf Tanagra! Gilgamesch und Enkidu vor Uruk!

  30. Sehr interessante Folge!

    @Tim: Du wirst dich vielleicht wundern, aber Bill Gates hat 1995 in seinem Buch “Der Weg nach vorn” die Spam-Problematik bereits erkannt. Einer seiner Vorschläge war, dass das Versenden einer Mail zu einem unbekannten Empfänger (d.h der Empfänger hat den Sender der Mail nicht in seiner Kontaktdatenbank) 1 Dollar kostet, welches der Empfänger enthält. Wenn ich mich recht erinnere, wurde auch die dazugehörige Problematik des Micro-Payments thematisiert (was heute immer noch nicht zufriedenstellend gelöst ist)

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind markiert *