<?xml version="1.0" encoding="utf-8" standalone="yes"?>
<rss version="2.0" xmlns:atom="http://www.w3.org/2005/Atom">
	<channel>
		<title>Blog on fischerlaender.de</title>
		<link>https://www.fischerlaender.de/blog/</link>
		<description>Recent content in Blog on fischerlaender.de</description>
		<generator>Hugo</generator>
		<language>de-DE</language>
		
		
		
		
			<lastBuildDate>Fri, 16 Jun 2023 00:00:00 +0000</lastBuildDate>
		
			<atom:link href="https://www.fischerlaender.de/blog/index.xml" rel="self" type="application/rss+xml" />
			<item>
				<title>Von word2vec bis GPT</title>
				<link>https://www.fischerlaender.de/blog/von-word2vec-bis-gpt/</link>
				<pubDate>Fri, 16 Jun 2023 00:00:00 +0000</pubDate>
				<guid>https://www.fischerlaender.de/blog/von-word2vec-bis-gpt/</guid>
				<description>&lt;p&gt;In dieser Präsentation, die ich auf der Campixx 2023 in Berlin gehalten habe, stelle ich die Entwicklung der modernen Sprachmodelle von recht einfachen Word-Embeddings bis zu den aktuell dominierenden Large Language Models (LLM) dar.&lt;/p&gt;&#xA;&lt;div class=&#34;pdf-viewer-wrap&#34;&gt;&#xA;    &lt;canvas id=&#34;the-canvas&#34; data-url=&#34;https://www.fischerlaender.de/blog/von-word2vec-bis-gpt/20230616-word2vec-bis-gpt-public.pdf&#34;&gt;&lt;/canvas&gt;&#xA;    &lt;div class=&#34;pdf-controls&#34;&gt;&#xA;        &lt;button id=&#34;slide-prev&#34;&gt;&amp;laquo;&lt;/button&gt;&#xA;        &lt;button id=&#34;slide-next&#34;&gt;&amp;raquo;&lt;/button&gt;&#xA;        &lt;span class=&#34;pdf-counter&#34;&gt;Folie: &lt;span id=&#34;slide-counter&#34;&gt;&lt;/span&gt;&lt;/span&gt;&#xA;        &lt;a href=&#34;https://www.fischerlaender.de/blog/von-word2vec-bis-gpt/20230616-word2vec-bis-gpt-public.pdf&#34; download class=&#34;pdf-download&#34; title=&#34;Folien herunterladen&#34;&gt;&lt;svg xmlns=&#34;http://www.w3.org/2000/svg&#34; width=&#34;18&#34; height=&#34;18&#34; viewBox=&#34;0 0 24 24&#34; fill=&#34;none&#34; stroke=&#34;currentColor&#34; stroke-width=&#34;2&#34; stroke-linecap=&#34;round&#34; stroke-linejoin=&#34;round&#34; aria-hidden=&#34;true&#34;&gt;&lt;path d=&#34;M21 15v4a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2v-4&#34;/&gt;&lt;polyline points=&#34;7 10 12 15 17 10&#34;/&gt;&lt;line x1=&#34;12&#34; y1=&#34;15&#34; x2=&#34;12&#34; y2=&#34;3&#34;/&gt;&lt;/svg&gt;&lt;/a&gt;&#xA;    &lt;/div&gt;&#xA;&lt;/div&gt;&#xA;&#xA;&#xA;&lt;script type=&#34;module&#34; src=&#34;https://www.fischerlaender.de/assets/js/pdf-viewer.46ba24ffb604defa7e56912b67c3bfd2b51f572d60419b88e19428cb90c5dfd6.mjs&#34;&gt;&lt;/script&gt;&#xA;&#xA;&#xA;&lt;p&gt;Zu Beginn ist ein kleiner Rückblick auf meinen Vortrag zu Machine Learning und word2vec von der Campixx 2017 enthalten. Ich vergleiche ich die Leistungen meines 2017 selbst aus der deutschen Wikipedia errechneten word2vec-Modells mit dem aktuellen ChatGPT und zeige die Ergebnisse eines mit dem GPT-2-Code von OpenAI erstellten Mini-SEO-LLM, das auf gerade mal 1,8 MB Daten trainiert worden ist. Und zum Abschluss gehe ich auf die potenziellen Bedrohungen von Googles Geschäftsmodell durch die Verbreitung der Large-Language-Models ein.&lt;/p&gt;</description>
			</item>
			<item>
				<title>Ein Vektor sagt mehr als tausend Wörter</title>
				<link>https://www.fischerlaender.de/blog/vector-mehr-als-tausend-woerter/</link>
				<pubDate>Sun, 12 Mar 2017 00:00:00 +0000</pubDate>
				<guid>https://www.fischerlaender.de/blog/vector-mehr-als-tausend-woerter/</guid>
				<description>&lt;p&gt;Auf der SEO Campixx 2017 in Berlin habe ich einen Vortrag über Machine Learning und Word Embeddings gehalten. Die Frage dahinter: Wie können Suchmaschinen die Bedeutung von Wörtern und Texten erfassen, statt nur Zeichenketten abzugleichen? Was damals noch nach Zukunftsmusik klang, ist heute die Grundlage moderner Sprachmodelle und damit auch der KI-gestützten Suche. Hier sind die Slides zum Nachlesen:&lt;/p&gt;&#xA;&lt;div class=&#34;pdf-viewer-wrap&#34;&gt;&#xA;    &lt;canvas id=&#34;the-canvas&#34; data-url=&#34;https://www.fischerlaender.de/blog/vector-mehr-als-tausend-woerter/2017-campixx-vektor-mehr-tausend-woerter.pdf&#34;&gt;&lt;/canvas&gt;&#xA;    &lt;div class=&#34;pdf-controls&#34;&gt;&#xA;        &lt;button id=&#34;slide-prev&#34;&gt;&amp;laquo;&lt;/button&gt;&#xA;        &lt;button id=&#34;slide-next&#34;&gt;&amp;raquo;&lt;/button&gt;&#xA;        &lt;span class=&#34;pdf-counter&#34;&gt;Folie: &lt;span id=&#34;slide-counter&#34;&gt;&lt;/span&gt;&lt;/span&gt;&#xA;        &lt;a href=&#34;https://www.fischerlaender.de/blog/vector-mehr-als-tausend-woerter/2017-campixx-vektor-mehr-tausend-woerter.pdf&#34; download class=&#34;pdf-download&#34; title=&#34;Folien herunterladen&#34;&gt;&lt;svg xmlns=&#34;http://www.w3.org/2000/svg&#34; width=&#34;18&#34; height=&#34;18&#34; viewBox=&#34;0 0 24 24&#34; fill=&#34;none&#34; stroke=&#34;currentColor&#34; stroke-width=&#34;2&#34; stroke-linecap=&#34;round&#34; stroke-linejoin=&#34;round&#34; aria-hidden=&#34;true&#34;&gt;&lt;path d=&#34;M21 15v4a2 2 0 0 1-2 2H5a2 2 0 0 1-2-2v-4&#34;/&gt;&lt;polyline points=&#34;7 10 12 15 17 10&#34;/&gt;&lt;line x1=&#34;12&#34; y1=&#34;15&#34; x2=&#34;12&#34; y2=&#34;3&#34;/&gt;&lt;/svg&gt;&lt;/a&gt;&#xA;    &lt;/div&gt;&#xA;&lt;/div&gt;&#xA;&#xA;&#xA;&lt;script type=&#34;module&#34; src=&#34;https://www.fischerlaender.de/assets/js/pdf-viewer.46ba24ffb604defa7e56912b67c3bfd2b51f572d60419b88e19428cb90c5dfd6.mjs&#34;&gt;&lt;/script&gt;&#xA;&#xA;&#xA;&lt;p&gt;Im ersten Teil ging es um die Grundlagen: Wie funktioniert Clustering, was ist die euklidische Distanz, und wie lassen sich Wörter als Vektoren in einem vieldimensionalen Raum darstellen? Das bekannteste Beispiel ist die Rechnung &lt;em&gt;king − man + woman&lt;/em&gt;, deren Ergebnis in der Nähe des Vektors für &lt;em&gt;queen&lt;/em&gt; landet. Je näher zwei Vektoren beieinander liegen, desto ähnlicher ist ihre Bedeutung.&lt;/p&gt;</description>
			</item>
	</channel>
</rss>
