Wie gelingt der Faktencheck mit KI?

00:00:03:

00:00:05: Herzlich willkommen zu Meister Promptor, dem Podcast der Deine Proms auf Hochglanz poliert.

00:00:10: Und ich sitze hier mit Stella von T-Train

00:00:13: und neben mir sitzt Renate von Renate GPT.

00:00:17: Wir freuen uns, dass ihr wieder eingeschaltet habt!

00:00:19: Denn wir haben auch etwas sehr Spannendes für euch mitgebracht was zu hundert Prozent Anwendung findet.

00:00:27: Was sagen die immer?

00:00:28: Machen ja kein Copy Paste und vertrauen nie auf das was da so aus unserem Tool rauskommt.

00:00:35: Aber, was können wir denn jetzt machen damit wir darauf ein bisschen mit weiterarbeiten können?

00:00:41: Also wie können wir dann wenigstens ein bisschen sagen okay das kann ich jetzt für mich weiter verwenden.

00:00:46: Genau, wir haben uns überlegt einen Faktenchecker-Prompt einfach zu bauen und der Hintergrund ist zum Beispiel bei mir auch ein recht persönlicher in dem Fall.

00:00:55: Nämlich ich habe neulich eine Artikel geschrieben, einen Kommentar und hatte da ganz viele verschiedene Jahreszeiten drin.

00:01:00: Die hab' ich natürlich logischerweise vorher recherchiert und hatte, stellts euch vor auf meinem Laptop wahnsinnig viele Tabs offen sehr viele Quellen.

00:01:09: oder als ich dann alles aufgeschrieben hatte wollte ich halt einfach nochmal einmal flott überprüfen lassen hey stimmt das denn alles?

00:01:15: Oder ist da irgendwas, habe ich irgendwo einen Zahndreher drin was ich trotz Korrekturlesen etc.

00:01:20: nicht gesehen habe und ehrlich gesagt hab' ich dann einfach den betreffenden Abschnitt mir rauskopiert wo eben?

00:01:26: das war einfach ein Absatz wo die ganzen Jahreszahlen drinnen gewesen sind und habe denen zum Beispiel bei Perplexity reingegeben mit einer ja recht simplen Bitte nämlich hey Wirklich, da ist jetzt... Das ist übrigens nicht die Promptvorlage.

00:01:39: Keine Sorge!

00:01:40: Aber sagen wir die nicht innerhalb der ersten drei Minuten einfach so?

00:01:44: Weil wieso sollte dann erklären ja auch was dazu und B, sagen wir so das ist ein Beispiel für auch kurz kann funktionieren aber bringt ihr noch nicht das beste Ergebnis.

00:01:54: weil ich habe wirklich nur geschrieben schau dir diesen Abschnitt an und überprüfe alle Jahreszahlen.

00:01:59: Das war alles ein Doppelpunkt.

00:02:02: danach kamen zwei Abschnitte.

00:02:04: sorry und ich hab es mit Public City gemacht.

00:02:06: Ähm, allerdings war es auch da so.

00:02:09: Teilweise war das was Perplexity mir ausgegeben hat, auch korrekt zum Beispiel.

00:02:14: Gibt's hier, ging's um eine Reform von und sieben Siebzig?

00:02:17: Das konnt ihr mir bestätigen.

00:02:19: Das hat sich erst mal gut gelesen in Anführungszeichen.

00:02:22: Allerdings stand dann auch teilweise sowas dabei wie präzisierungsbedürftig oder nicht überprüfbar.

00:02:28: also wo ich mich dann auch schon drüber gewundert habe und gemerkt hab okay dieser Prompt muss ausgebaut werden weil Das war zum Beispiel eine Jahreszahl.

00:02:36: Die hatte ich ja aus einer seriösen Quelle und wusste, die kann man überprüfen!

00:02:40: Und die Quelle habe ich im Internet auch abgerufen.

00:02:42: also das wusste ich ja alles.

00:02:45: Deswegen da war mir schon klar okay der Ansatz war da, die Umsetzung war noch nicht ausgebaut... ...und übrigens ich habe dann alles nochmal einzeln nachgeprüft an der Stelle.

00:02:55: Deswegen die Zeitersparnis war da auch noch nicht so ganz gegeben.

00:02:59: aber damit es eben für euch besser wird haben wir uns jetzt einen Faktenchecker prompt nochmal überlegt, gebaut getestet und Spoiler.

00:03:08: Ach der kommt an Grenzen!

00:03:09: Da gibt es nämlich eine ganz wichtige Sache.

00:03:11: die kann recht viel zu Nichte machen.

00:03:12: aber wollen wir vielleicht erstmal die Lösung vortragen?

00:03:15: Ja also auch da noch mal von meiner Seite ich muss auch sagen ich benutze auch regelmäßig so ne abgespeckte Variante in dem ich wirklich einfach nur sage bist du dir zu hundert prozent sicher?

00:03:28: wenn ich hier sicher sein will dann sag ich bist du mir zu tausend Prozent sicher?

00:03:31: Das was wir heute zeigen, den Faktenchecker Prompt.

00:03:34: Auf dem kann man sich auf jeden Fall noch Mühe mehr verlassen.

00:03:37: Ein Mühe-Mehr!

00:03:38: Nicht komplett nur ein Mühemehr.

00:03:40: Wir müssen immer noch unser Köpfe hinan haben, das ist klar.

00:03:43: Aber der ist eben doch ein bisschen... hat der mehr Gehalt als wenn man nur sagt hey bist du dir sicher?

00:03:51: Nämlich wie gehen quasi rein.

00:03:53: und was sagen wir denn da jetzt?

00:03:55: Wir vergeben eine Rolle.

00:03:56: erkennt es, der siebenstufige Aufbau.

00:03:58: Den haben wir sehr regelmäßig und in dem Fall ist jetzt ehrlich gesagt nicht ganz überraschend, nehmen wir den akkuraten Faktenchecker.

00:04:05: Genau!

00:04:05: Und dann sagen wir okay, überprüfe folgenden Abschnitt auf sachliche Richtigkeit.

00:04:13: Wenn ihr das auf Rechtschreibungen prüfen wollt, dass das was anderes?

00:04:17: Jetzt gucken wir ja auf die sachliche Richtigkeit und beantworten diese Fragen.

00:04:22: Dann haben wir drei aufgeführt.

00:04:24: übrigens... War auch nicht falsch, du kannst auch die Mehrzahl nehmen.

00:04:26: Also ich hätte ja korrekterweise auch nicht einen Abschnitt da in meinem ersten Prompt angeben müssen, sondern es waren jetzt zwei.

00:04:32: Drei Fragen?

00:04:33: Erstens.

00:04:33: Welche Aussagen kannst Du mit seriösen Quellen belegen?

00:04:37: Nenne die Quellen!

00:04:40: Das ist wichtig.

00:04:41: Da geht es nämlich in der zweiten Variante noch weiter, aber wir lassen das erst mal so.

00:04:45: Welche Aussagen sind unklar und wo fehlen Quellen oder Belege?

00:04:48: Also erstmal die drei Fragen.

00:04:49: und hinten dran haben wir noch gesetzt, denn mir alle Punkte, die ich überprüfen muss also quasi auch da nochmal doppelt abgesichert werden ja auch jüngst diese Folge zu den Aufgaben.

00:04:58: Manchmal ist es auch echt hilfreich, Punkte nochmal doppel zu betonen wenn ihr die besonders im Ergebnis haben wollt, damit ihr auf jeden Fall vereinfacht gesagt nicht verschütt gehen.

00:05:07: Das ist erstmal unser Basisprompter!

00:05:09: Genau.

00:05:10: und dann gebt dir natürlich euren Text da rein.

00:05:13: Wenn es ein bisschen was Längeres ist, dann könnt ihr das natürlich auch einfach anhängen.

00:05:17: Ihr kennt das Spiel Und auch dann könnt du noch sagen Gebt mir eine klare Einschätzung der Verlässlichkeit.

00:05:23: Genau

00:05:24: wollen wir natürlich auch.

00:05:25: Wir haben den natürlich getestet zum Beispiel mit ChatGPT Da muss ich ja sagen kam was Übersichtliches bei rum.

00:05:32: So, das können wir euch alles zusammenfassen.

00:05:35: Zum Beispiel die Jahreszahlen wurden korrekt erkannt, es wurden auch Beispiele genannt und es wurden vor allen Dingen auch wichtig Quellen genannt ohne irgendwelche Links.

00:05:44: Das ist der wichtige Punkt den ihr euch merken musst.

00:05:45: Es wurde im Müsst Quellen nennen.

00:05:48: Ich konnte aber wie gesagt die Links nicht anklicken.

00:05:49: ich habe das wieder bei Heiser IO getestet Also dem Tool wo wir in der Redaktion mitarbeiten wo wir auf verschiedene KI-Modelle zugreifen können.

00:05:57: Dann habe ich das Ganze auch noch mal natürlich bei Gemina rausgehauen.

00:06:02: Da war es so, obwohl ich überhaupt gar keine Links angefordert hab, hat Gemina mir direkt welche mitgeliefert in den Quellen.

00:06:08: Da kommen wir aber zu einem späteren Zeitpunkt zu.

00:06:11: Aber auch ansonsten hat es in denen, wie wir uns das so angeguckt haben, waren die Jahreszahlen korrekt eingeordnet, die ich da angefragt habe.

00:06:21: Claude, das fand ich ganz ... Ja!

00:06:24: eigentlich ganz nutzwertig, hat mir in der Übersicht direkt eine Tabelle ausgespuckt und hat eben die verschiedenen Sachen, die ich da angegeben hatte, direkt tabellarisch dargestellt mit so Hashtags zugeordnet.

00:06:35: Das heißt, ich hatte am Anfang eben die Zuordnung, hatten Numerierung angemacht, Fakt eins zwei drei vier fünf ging bis sieben und hat mich dann unten übersichtlich nochmal dargestellt okay ab was war quasi so der Fakten-Inhalt?

00:06:46: ist das belegbar?

00:06:47: Ist es unpräzise?

00:06:48: Ist das falsch?

00:06:50: oder hat man dann auch optional noch mal gesagt hey welche Handlung quasi mir empfohlen wird.

00:06:55: Und deswegen fand ich auf jeden Fall insgesamt übersichtlich und erst mal dieser Basis prompt auf grob übersicht hat funktioniert,

00:07:03: ja das ist sehr gut.

00:07:05: was ich auch noch spannend finde dass du ja... Ich meine bei Jahreszahlen ist es jetzt so eine Sache aber du könntest dann quasi noch ein Schritt weiter gehen wenn du also je nachdem was du natürlich damit machen willst aber wenn du zum Beispiel dich auf eine Keynote vorbereitest dann bereite ich mich ehrlich gesagt schon immer aufgehicken Positionen vor.

00:07:29: Also wirklich, ich muss natürlich sicher sein dass die Fakten stimmen.

00:07:32: das wäre wirklich sehr unangenehm.

00:07:34: und dann sage ich immer noch okay was für Inhalte sind denn tendenziell vielleicht strittig oder wo gibt es denn ein paar Gegenargumente dazu?

00:07:48: Ja, bei Jahreszahlen ist das jetzt tendenziell vielleicht nicht so.

00:07:51: Aber bei manchen Fakten ist es schon so dass es da vielleicht auch mal Gegenpositionen gibt und mit so einem Prompt wo man einfach dann nochmal fragt okay welche Gegenargumente oder alternative Sichtweisen gibt es?

00:08:04: Da kann man sich schon ein bisschen auch darauf vorbereiten und das macht wirklich auch Sinn.

00:08:09: also kann ich nur auch empfehlen das Mal zu machen je nachdem in welchem Bereich ihr euch dann befindet.

00:08:16: Aber tendenziell, also für alles was eben Fakten angeht.

00:08:20: Ist dieser Prompt dieses?

00:08:21: hey kannst du das nochmal checken?

00:08:24: Dieser Faktenschecker-Prompt ist wirklich... Also ich mache es wirklich für vor allem solche Fakte.

00:08:30: da tendiert natürlich KI auch dazu zu hallucinieren.

00:08:37: Ich mach glaube ich nix wo ich das nicht noch mal machen.

00:08:40: Ich glaube, das ist auch noch ein wichtiger Punkt und zwar es gibt ja immer wieder neue Studienversuche wo eben geschaut wird okay welche KI-Modelle haluzinieren in welchem Umfang.

00:08:51: Und generell lässt sich sagen mir ist kein KI Modell bekannt was nicht haluzineert.

00:08:56: oder das Problem an der Geschichte ist ja auch du weißt hier nicht wann dass der Fall ist.

00:09:01: also deswegen wäre ich auch so wie du's gerade einschränkt gesagt hast natürlich immer nochmal selbst zu überprüfen quasi den KI-Einsatz genau für solche Fälle, wenn ihr schon mit dem Thema vertraut seid und dann auch merken könnt okay das macht jetzt für mich mit meinem Fachwissen logisch keinen Sinn.

00:09:18: Dann finde ich kann man sowas mit einem anderen Gewissen noch mal nutzen einfach zur Einordnung anstatt wenn man überhaupt gar kein Durchblick von dem Thema hat.

00:09:26: Long story short Prüft bitte wirklich immer, auch wenn ihr diesen Faktenchecker-Prom nehmt.

00:09:32: Der soll eine Hilfestellung sein aber prüft bitte immer was dabei rauskommt.

00:09:36: Ja also das gibt trotzdem noch keine hundertprozentige Sicherheit auf jeden Fall nicht!

00:09:41: Also wir müssen da immer noch unser Köpflin anhalten.

00:09:44: am Ende kann es sein dass man nur noch sicherer ist, dass es kein Problem ist weil man eben dachte ja hat KI jetzt zweimal gesagt In die Falle tappen wir nicht.

00:09:55: Jetzt kann man natürlich aber auch sagen, das ist ja ganz ehrlich und wunderbar.

00:09:59: Das ist toll!

00:09:59: Jetzt habt ihr mir ein Prompt gezeigt mit der Einschränkung an ganz vielen Stellen.

00:10:05: Lieber selber nochmal nachgucken.

00:10:07: Und ich würde sagen, wir haben da sowieso noch Redeptaf.

00:10:09: Wir haben jetzt mehrmals immer gesagt zu dieses Da kommt noch was?

00:10:13: Und da kommt noch etwas?

00:10:14: Haben wir nicht in eine Folge bekommen?

00:10:16: Nee.

00:10:17: Deswegen... Müsst ihr leider nächste Woche wieder einschalten.

00:10:20: Wir haben nämlich, als wir diesen Prompt verbessern wollten das Ganze wirklich

00:10:24: Aber mit einem Zusatz wo man denkt Ja dass gibt euch noch richtig mehr wert und das gibt dir auf einmal die Sicherheit.

00:10:30: Das ist stimmt.

00:10:30: ja

00:10:31: damit haben wir es ex exakt top ediert

00:10:34: Und gehen komplett nachher in uns wären wir

00:10:36: beide nicht gekommen?

00:10:38: Und das hört ihr in der nächsten Woche.

00:10:40: also schaltet auf jeden Fall wieder ein abonnierst Damit ihr es nicht verpasst.

00:10:44: am nächsten mittwoch da sehen und hören wir uns wieder Und bis dahin könnt ihr abonnieren, könnt ihr den News-Sette abonnieren.

00:10:51: Damit ihr uns nicht verpasst.

00:10:53: und ja!

00:10:54: Infos gibt's in den Shownotes und ich würde sagen bis nächsten Mittwoch und drei zwei eins bleibt sauber.