Faktencheck 2: Wann halluziniert KI?

00:00:03: Und ich sitze hier mit Renate von Renate GPT

00:00:16: und ich sitz' sie hier mit Stella vom TDRN.

00:00:19: Wir haben heute für euch Teil zwei mitgebracht, wir haben ja in der vergangenen Woche darüber gesprochen oder wir haben euch eher gesagt ein Faktenchecker Promt vorgestellt und schon gesagt, hmh!

00:00:29: Wir wollten den eigentlich noch besser machen aber... hat leider nicht so funktioniert, wie wir dachten.

00:00:34: Übrigens den Prompt findet ihr natürlich wieder in den Show Notes sowie wir in der vergangenen Woche auch das Ganze gezeigt haben und den Link zu der Folge in der vergangenen Woche.

00:00:43: den findet ihr auch in den show notes.

00:00:44: aber ich würde sagen wir fassen es einmal noch mal ganz flott zusammen.

00:00:47: was haben wir gemacht?

00:00:47: Wir haben uns angeschaut.

00:00:48: hey!

00:00:49: Wie können wir zum Beispiel Jahreszahlen wenn wir eine Präsentation vorbereiten werden wir etwas schreiben müssen wo wir einfach nochmal Fakten überprüfen wollen die eben mit einer Jahreszeit verbunden sind, wie können wir sie überprüfen und haben dazu ein Promt aufgebaut.

00:01:01: Mit drei Fragen und vor allen Dingen noch der Aufforderung am Ende, hey zeig mir bitte ganz klar alles was ich nochmal überprüpen muss, was nicht präzise ist!

00:01:09: Wie gesagt gibt's in den Show-Nots Ja und dann... Wir fordern ja in diesen Fragen auch auf nach Quellen Und das war sowas wo ich dachte Zwar in dem Ergebnis haben wir schon gesehen, also zum Beispiel bei ChatGPT das da Quellen angezeigt wurden aber es waren keine Links gesetzt.

00:01:26: Google hat übrigens gleich automatisch, also Gemini automatisch links gesetzt und das hat mich frustriert weil ich gedacht habe Mensch!

00:01:32: Ich möchte auch eine Übersicht.

00:01:34: Ich will ja die Antwort ist belegbar als nicht belegba plus Quelle damit ich auf die Quelle klicken kann und dann sehe okay

00:01:41: man will direkt checken.

00:01:44: Also was haben wir gemacht?

00:01:45: Ganz simpel Naja, Quellen mit links angefordert.

00:01:49: Und wir dachten prima das wird super.

00:01:51: und wie Wort?

00:01:53: Ähm ich versuche gerade den Wort zu finden was jugendgerecht ist aber es wurde schlechter.

00:02:00: Das ist ein gutes Wort.

00:02:01: Die Links waren Kreuz der Quere.

00:02:05: Ihr habt das noch nicht gesehen Was dafür links auf einmal war vor allem Es ging ja um Jahreszahlen.

00:02:10: Zuna wirklich Ich weiß gar nicht warum wir waren die Jahreszeilen Aber es war auf jeden Fall eine offizielle sache.

00:02:16: also ich habe einen kommentar zum welt frauentag geschrieben und hab in diesem kommenta das war der aufhänger und hat in dem kommentat so verschiedene quasi meilen steile auch genannt waren zb frauen unabhängiger geworden sind primär von ihrem ehemann und da gibt es verschiedene gesetze zum beispiel wenn frauen eigenes konto öffnen konnten wenn sie verheiratet waren etc.

00:02:37: Und diese jahreszahlen die waren unsere basis auch für den prompt zu testen.

00:02:41: Ich habe mir das hier mal parallel nochmal aufgerufen und zum beispiel beim ChatGPC hatte mir da als eine Quelle plötzlich Frage.de.

00:02:49: vorgeschlagen,

00:02:51: also als wir nur nach der Quelle gefragt haben?

00:02:53: Da

00:02:53: war es richtig!

00:02:54: Das

00:02:54: ist der Punkt.

00:02:54: Was war da so?

00:02:55: die Quelle?

00:02:56: Da waren die Quellen auch das habe ich hier natürlich mit dabei.

00:02:59: Ich suche es kurz raus.

00:03:00: Eine Sekunde bitte.

00:03:03: Die Bundeszentrale für politische Bildung einer Quelle

00:03:06: Und jetzt haben wir nach einem... Also Quelle mit Link gefragt.

00:03:08: und was hatten wir jetzt?

00:03:10: Wir haben übrigens sonst nichts an diesem Prompt geändert und zwischen der Eingame Und ja, der Aufzeichnung liegen keine dreißig Minuten.

00:03:17: Also es war sehr dichte beieinander.

00:03:19: da haben wir plötzlich Frage D unter anderem oder das Geld.

00:03:23: die eine Website kann ich gar nicht aussprechen aber wirklich

00:03:27: wuselige UL wenn man denkt dass also das würde man wirklich nicht als Quelle irgendwo bei einem Artikel bei irgendwas mit angeben wollen.

00:03:39: und Da sind bei uns aber die Fragezeichen ganz groß geworden, weil wir dachten hey machen es doch genauer.

00:03:46: Wir wollen noch genauer sein wie können wir dann dazu also wie können wieder da das Gegenteil eigentlich erzeugen?

00:03:54: und wir haben natürlich auch gedacht Hey vielleicht ist es ein quasi ein Programmproblem Und es ist bei tschöccipitison bei anderen nicht Aber bei Geminal beispielsweise übrigens auch schon ohne den Zusatzquelle mit Link Also nur den Ursprungs.

00:04:07: prompt wurden uns direkt links mit ausgespuckt, also es gab immer eine Quelle und dann auch ein Link.

00:04:13: Ich habe dir alle brav angeklickt um zu gucken wo's denn da hingeht.

00:04:17: Also das häufigste war Fehlerseite inhaltlich verfügbar.

00:04:21: ja ich war da eher so In dem Bereich unterwegs wo diese quellen einfach ins nirgendwo geführt haben oder teilweise auch.

00:04:29: ich hab hier noch ne Seite Da wird mir plötzlich ein logo angezeigt oder er gesagt der link zu einem logo.

00:04:35: also wirklich Das hat nichts mit dem zu tun, was ich angefragt habe.

00:04:39: Und trotzdem würde ich jetzt quasi einfach mir dieses Ergebnis nur anschauen.

00:04:43: Würde ich da eine Quelle sehen?

00:04:44: Mit einem Namen oder Quellennamen der erstmal Sinn macht zum Beispiel hier Bundesministerium für Familie, Seniorin, Frauen und Jugend Endgeldtransparenz gesetzt.

00:04:53: das war nämlich auch das unter anderem wo sich eine Jahreszeit drauf bezog auf das Entgelt Transparenze Gesetz sprich Ich würde erst mal sagen hey es passt alles zueinander.

00:05:01: dann klicke ich auf die Link auf die Quelle und sehe

00:05:05: Das ist wirklich wild.

00:05:06: Ich lande bei, jetzt hätt ich mich fast verschluckt... Ich landte bei einem ja einer PDF vom Aktionsbündnis Nichtrauchen-EV

00:05:15: Aber wirklich eine PDF von

00:05:16: zwei tausend fünfzehn?

00:05:17: Also

00:05:17: es ist wild einfach!

00:05:20: Wir waren wirklich beide schockiert was da rausgekommen ist und das uns auch noch mal gezeigt hat wie sehr du drauf achten musst.

00:05:26: Auch wenn du dir Quellen anzeigen lässt und dann vielleicht denkst Da steht ja Name der könnte passen irgendwie Und da ist ja auch wohl link hinterlegt dass passt.

00:05:34: Jetzt vielleicht noch ein Einschub, weil es klingt so als wenn man ohne Links generell anfragt wäre das immer richtig.

00:05:41: Ja also Perplexity hat mir angezeigt Beleg durch Ecke Klammern eins, sechs, eins, fünfundzwanzig Das klingt jetzt erstmal sowieso Fußnoten.

00:05:51: Ich muss euch aber leider sagen was ich hinter fünfund zwanzig, neunundzwantzig und Co.

00:05:55: verbirgt weiß ich nicht Weil Perplexty hat mir gar nichts dazu irgendwas geliefert.

00:06:00: Also diese Zahlen stehen da einfach nur, ich kann gar keine Verbindung herstellen was eigentlich ja von mir oder wo diese Quelle herkommt.

00:06:10: Also auch da muss man sagen trotzdem die Ergebnisse die dabei teilweise rauskommen und das ist eben das verwirrende sind durchaus wenn man es nochmal extern überprüft korrekt.

00:06:21: also perplexity kann wir zum Beispiel sagen Das, was steht denn hier als Beispiel?

00:06:27: Es ab ab achtzehnhundertachundfünfzig konnten Frauen ein eigenes Konto eröffnen.

00:06:33: Ja

00:06:33: und jetzt ist natürlich die Frage Hamal, woher kommt das denn jetzt?

00:06:38: Und jetzt müssen wir uns noch mal einen Schritt zurückgehen und uns fragen wie funktioniert denn so ein KI-Modell?

00:06:45: Denn das ist ja nicht die richtigste Antwort die rauskommt sondern die wahrscheinlichste.

00:06:50: also ein KI Modell basiert auf Wahrscheinlichkeitsrechnungen.

00:06:54: Das heißt auch hier, ich möchte mir jetzt wirklich jeder der irgendwie was ganz explizit mit KIE oder IT zu tun hat macht sie jetzt mal die Ohren zu.

00:07:03: aber man kann es sich so vorstellen als ob ihr quasi ein Topf habt wo alle Daten zu diesem Thema quasi drin sind und daraus basierend kommt die Wahrscheinlichkeit mit der häufigsten im richtigen Kontext genannten Antwort raus.

00:07:22: So, das funktioniert für – ja ich sage jetzt mal Fakten oder für Themen die rausgezogen werden.

00:07:28: Das funktioniert eben gut dafür und es kann also gut nicht hundertprozent ne?

00:07:32: Kann

00:07:32: funktionieren!

00:07:33: Jetzt so

00:07:33: ist ja die Funktionsweise davon und da funktioniert es tendenziell wenn's nicht funktioniert Halluzination was passiert jetzt?

00:07:42: aber wenn ich ja eigentlich links sage und wir denken so Herr muss doch besser sein.

00:07:46: Jetzt muss es da drauf noch, also es muss einmal halt dieses Töpfchen machen und die Wahrscheinlichkeitsberechnung.

00:07:52: Und da darauf basiert, muss jetzt auch noch die richtige URL generieren!

00:07:57: So davor haben wir gelernt okay?

00:08:00: Wahrscheinlichkeit berechnungen, daraus konklomerisiert ist quasi die wahrscheinlichste richtigste Antwort.

00:08:07: aber jetzt musst du die URL machen Genauigkeit an und da kannst du eben nicht alles in einen Töpfchen machen.

00:08:14: Und da einfach mal eine URL rausnehmen, das funktioniert da eben auch nicht!

00:08:19: Und da kommen KI-Modelle jetzt auch noch extrem an ihre Grenzen.

00:08:23: Genau und zwar mit dem Prompt wie wir ihn gestaltet haben und zwar würde ich jetzt mal... Das müssten wir nochmal überprüfen vielleicht in einer der Folgen und Folgen wenn man konkret eine Website vorgibt und sagt hey nimm dir bitte nur von dieser Website was dann passiert weil du die Quelle ja vorne vorne nennst, aber wir haben ja einfach nur seriöse Quenken genommen.

00:08:42: Wir wissen nicht genau womit ein Gemini, womit einen Chlor trainiert worden ist und all die anderen.

00:08:47: Ruft euch das immer ins Gedächtnis?

00:08:48: Und nur weil da eine Quelle steht heißt es nicht.

00:08:51: Erinnerst du dich an die OMR-Folge?

00:08:52: Da wurden uns auch Quellen ausgespuckt für angebliche Programmpunkte wo wir gedacht haben... Das steht überhaupt nicht!

00:09:00: Also das passt ja auch hin und vor nicht.

00:09:02: also es gibt viele viele Beispiele wo genau das eben passiert ist.

00:09:05: deswegen Bitte Halluzinationen können immer auftreten und seid da einfach sehr, sehr vorsichtig im Umgang mit.

00:09:13: Ja genau weil KI ist eben so trainiert euch nicht zu sagen hey sorry kann ich dir gerade keinen Link generieren sondern es baut euch halt ein plausibler Link Naja und so funktioniert's halt nicht und

00:09:25: dann landet ihr auf der Logo Website.

00:09:27: Genau

00:09:28: Das ist halt schwierig So also.

00:09:31: von daher macht es dann mehr Sinn, das aufzuschlitten.

00:09:35: Also erstmal wirklich mit diesen nennen wir Quellen.

00:09:38: Das funktioniert ja nur eben geht nicht als erstes auf die Links.

00:09:42: Funktioniert

00:09:43: eingeschränkt.

00:09:43: also bei Chatchapity hat Sinn gemacht aber auch da ist natürlich dieses Bundeszentrale für politische Bildung ist ja so breit gefächert Da hatten wir ja nicht den konkreten Anhaltspunkt und gerade bei Google war's ja schon auch ohne Quellenangaben plötzlich so dass da links reingeflossen sind überhaupt Was weiß ich, wo diese Links herkommen?

00:10:02: Und deswegen also auch da vorsichtweiten lassen und das eher noch mal als Auftrag auch nehmen zu sehen.

00:10:07: Okay lasst euch nicht täuschen bloß weil da eine sinnvoll klingende Quelle steht und ein Link heißt das noch gar nichts.

00:10:14: Also wir können auch gerne nochmal darüber diskutieren, ob dann so Faktencheckerpromts überhaupt an dem Zeitpunkt schon für die KI geeignet sind oder ob das vielleicht einfach zumindest so viel zu unkonkret ist.

00:10:25: Weil ich gebe zu was würde ich jetzt machen?

00:10:27: Ich würde das ja alles eh noch mal überprüfen.

00:10:29: Aber es hätte mir zumindest eine grobe Einordnung zum Beispiel gegeben.

00:10:33: Voll auf jeden Fall!

00:10:34: Und genau das soll sie aber auch machen.

00:10:36: also wir wollen damit nicht das Gefühl geben mit einem Faktonchecker Prompt hast du hundertprozentige Wahrscheinlichkeit, sondern es gibt dir einfach nochmal Ansatzpunkte wo du auf jeden Fall gucken solltest oder wo?

00:10:49: ja also Du musst immer die Quellen checken.

00:10:52: Es funktioniert nicht anders.

00:10:53: Ja also KI kann dir an dieser Stelle diese Arbeit nicht abnehmen.

00:10:57: Das können wir zumindest jetzt erst mal so sagen.

00:10:59: und kürze aber dann nochmal an, Perspektive, hey was machen wir wenn wir eine Website konkret vorgeben?

00:11:04: Er braucht aber das KI-Modell natürlich für das alles immer den Webzugang.

00:11:07: Aber wir bleiben dabei bitte immer genau prüfen!

00:11:10: Und natürlich dürfte auch uns quasi Feedback geben, Prüfen, ich wollte jetzt eine schöne Überleitung machen, es hat nicht funktioniert.

00:11:18: Aber ihr könnt natürlich uns sehr gerne Feedbacks schicken auch für diese Folge, vielleicht habt ihr euch ja schon persönlichen Faktenchecker prompt gebaut mit dem ihr gute Erfahrung gemacht habe.

00:11:26: Lasst uns das gerne wissen und zwar unter meisterprompter at tdrein.de.

00:11:32: Ja, dann freuen wir uns von euch zu hören!

00:11:35: Und wenn ihr nächste Woche wieder einscheidet zu einer neuen Folge in der Zwischenzeit abonniert den noch unseren Newsletter.

00:11:41: da findet ihr den Link direkt.

00:11:43: Wenn ihr auch den Prompt quasi kopiert für eure Grundeinstellung Da gibt es auch den Newsletter-Link wo ihr euch anmelden könnt.

00:11:49: und dann würde ich sagen Hören wir uns in der nächsten Woche wieder.

00:11:53: Drei,

00:11:54: zwei, eins.

00:11:56: Bleib sauber!