Ein Vektor sagt mehr als tausend Wörter
Auf der SEO Campixx 2017 in Berlin habe ich einen Vortrag über Machine Learning und Word Embeddings gehalten. Die Frage dahinter: Wie können Suchmaschinen die Bedeutung von Wörtern und Texten erfassen, statt nur Zeichenketten abzugleichen? Was damals noch nach Zukunftsmusik klang, ist heute die Grundlage moderner Sprachmodelle und damit auch der KI-gestützten Suche. Hier sind die Slides zum Nachlesen:
Im ersten Teil ging es um die Grundlagen: Wie funktioniert Clustering, was ist die euklidische Distanz, und wie lassen sich Wörter als Vektoren in einem vieldimensionalen Raum darstellen? Das bekannteste Beispiel ist die Rechnung king − man + woman, deren Ergebnis in der Nähe des Vektors für queen landet. Je näher zwei Vektoren beieinander liegen, desto ähnlicher ist ihre Bedeutung.
Im Praxisteil habe ich gezeigt, wie wenig Aufwand für erstaunliche Ergebnisse nötig ist. Mit Googles Open-Source-Framework word2vec habe ich auf einem normalen Linux-PC in etwa fünf Stunden ein Modell aus der kompletten deutschen Wikipedia trainiert und es dann live mit der Python-Bibliothek Gensim abgefragt: ähnliche Begriffe finden, Analogien wie „Canberra − Australien + Kanada“ lösen oder erkennen, welches Wort in einer Reihe nicht dazugehört. Sogar einen einfachen Online-Intelligenztest konnte das Modell zu einem guten Teil lösen.
Eine längere Zusammenfassung gibt es im Magazin Websiteboosting (öffnet in neuem Tab). (im Artikel ganz nach unten scrollen)