KI-Lügen vermeiden: Wie gewöhne ich ChatGPT und Claude das Halluzinieren ab?

00:00:03: Herzlich Willkommen zu einer neuen Folge von TRN Meisterpompter.

00:00:09: Natürlich haben wir auch wieder Renate, von Renate GPT am Start!

00:00:17: Und wir haben in dieser Woche eine Folge für euch mitgebracht, die ja schon fast in einer der vorherigen Episoden hätten wir diesen Prompt einfach so am Rande.

00:00:26: Fast einfach quasi ganz schnell erzählt.

00:00:29: aber wir wollten das jetzt noch ein bisschen ausführlicher machen.

00:00:32: Wir hatten ja jüngst dieses ganze Thema mit dem Thema Fact-Checks also wie ihr mit KI Fakten checken könnt Und haben dazu ja auch zwei Folgen gemacht und eben euch auch gezeigt, wo dieser Prompt an Grenzen kommt.

00:00:43: Vor allen Dingen wenn man eben links anfordert – wenn euch das interessiert, link nochmal in den Schaunen nuts!

00:00:49: Aber Renate hat auch eine Variante für diese Systemeinstellung gefunden wie man es schafft dass KI zumindest ein bisschen weniger haluziniert weil ganz stoppen können wir es leider generell nicht

00:01:01: Genau.

00:01:02: Und hier geht es ja, du hattest gerade schon gesagt um Systemprompt.

00:01:06: Das heißt was können wir in unseren KI-Tools hinterlegen dass sie quasi immer im Kopf haben wenn Sie mit uns reden oder schreiben und genau dafür ist das natürlich wunderbar.

00:01:20: Wenn wir da sagen okay wenn wir etwas suchen was uns weniger lügen beschert dann sollte das ja was sein was wir jetzt nicht jedes mal in jeden Prompt ranfügen weil zählt tendenziell für alles, was wir mit so einem KI-Tool machen oder?

00:01:37: Eben.

00:01:37: Also wir wollen ja eigentlich bei jeder Ausgabe dafür sorgen dass es möglichst fehlerfrei ist und da nicht halluciniert wird und deswegen halt quasi diese Eingabe in den persönlichen Grundeinstellungen damit das immer nicht verloren geht.

00:01:49: Und falls ihr euch jetzt fragt ja was soll ich denn nun eingeben?

00:01:51: genau also eben etwas Was dafür sorgt dass die Eingaben generell konkreter und passender sind.

00:01:57: Das ist so das was wir euch heute mitgebracht haben.

00:02:00: Genau Ehrlich gesagt ist so dieser System Prompt, den ihr natürlich auch in den Show Notes findet.

00:02:06: Ist so ein Konklamorat von sehr vielen verschiedenen Hecks zusammengefasst damit ihr das quasi hinterlegen könnt.

00:02:15: Das heißt erst mal auch wo gebt ihr das eine?

00:02:19: Das funktioniert eigentlich fast jedem Tool gleich.

00:02:22: Ihr geht in die Einstellungen und dann seht ihr meistens im Chat mit Tia ist es persönliche Einstellung und dann ist da quasi ein Feld, wo ihr Sachen eingeben könnt.

00:02:34: Und was gibt dir der eine?

00:02:35: Das ist ein bisschen länger.

00:02:36: also nicht erschrecken wenn ihr in die Show notes guckt.

00:02:39: das heißt wir fangen hier erstmal an damit zu sagen lege Unsicherheiten offen.

00:02:45: wer hier fleißig unseren podcast hört dem klingelt jetzt auch was im köpfchen.

00:02:50: darüber haben wir schon mal eine ganze folge gemacht dass das extrem hilfreich ist wenn wir die kaida zu auffordern fehlerhaft sind oder halt fehlen oder unsicher sind, unvollständig sind oder auch spekulativ sind.

00:03:05: Dann soll die KI uns das sagen und das bringt schon so viel dafür dass es eben nicht mehr liegt.

00:03:11: und das ist aber nur einer von mehreren kleinen Sachen.

00:03:16: also Stella was haben wir denn da noch so?

00:03:18: Naja Wir haben auch noch etwas ganz konkret für den Bereich Halluzination weil du hast ja gerade gesagt Es geht immer darum wenn's zum Beispiel was unvolländig ist Wenn keine Fakten zu dem Punkt gefunden werden.

00:03:28: Aber es gibt ja auch den Fall, wo künstliche Intelligenz die Antwort gar nicht kennt.

00:03:33: Welches Programm auch immer?

00:03:34: Ob das jetzt Claude ist, Lechette oder ein anderes Programm und da ist es ja leider so ich glaube das hatten wir auch schon an verschiedenen Stellen gesagt dass künstlich Intelligenze nicht so gut darin ist einfach zu sagen Das weiß ich nicht So, ich finde schon auch in der persönlichen Nutzung merke es ist glaube ich besser geworden weil die Unternehmen sehen ja auch das Feedback.

00:03:54: Also ich habe schon das eine oder andere Mal von der KI so zumindest so die Antwort bekommen.

00:03:58: Oh!

00:03:58: Das kann ich jetzt gerade nicht so genau einschätzen.

00:04:02: aber man merkt so diese Systeme wollen eigentlich nicht so gerne sagen Ich weiß es nicht.

00:04:05: und deswegen wir wollen hier aber wissen wenn ein System eine KI das eben nicht weiss und zum Beispiel keine gesicherten Informationen hat oder es eben einfach nicht weiß So simpel das ist, so steht es auch in diesem System-Prom drin.

00:04:19: Nämlich wenn eben das Wissen nicht vorhanden ist die Daten fehlen, es keine verlässliche Grundlage für eine Ausgesage gibt dann soll eben ausdrücklich auch einfach als Antwort kommen?

00:04:29: Ich weiß es nicht ich habe keine gesicherten Informationen.

00:04:33: Genau und dass auch das hilft uns wie gesagt schon extrem weiter Weiter geht's geht ein bisschen in dieselbe Sparte Dass es auch Annahmen transparent machen soll.

00:04:43: Das heißt Immer wenn eine KI-Antwort auf Annahmen basiert, dann sollen die gekennzeichnet werden.

00:04:50: Und das ist schon... Also da ist schon die Baseline dafür, dass eben also ihr seht es schlägt alles in die Kerbe Wenn die KI Antwort nicht auf gesicherten Daten belegbar ist, dann soll es das quasi wenigsten kennzeichnen.

00:05:08: und allein dieser Schritt hilft schon enorm weil es quasi dass ja alles noch mal aufprüfen muss bevor's das an uns raus gibt.

00:05:15: Und da sind wir auch schon beim nächsten Fakten prüfen nämlich dass eine Antwort also ne KI-Antwort bevor die quasi auf unserem Bildschirmchen erscheint Da soll quasi jede Ausgabe nochmal geprüft werden auf logische Fehler, auf fehlende Infos.

00:05:32: Auf mögliche Verzerrungen oder falsche Annahmen.

00:05:36: Also auch das ist wirklich schon... Wir fügen einen neuen Zwischenschritt ein der uns sehr viel mehr Qualität am Ende rausgibt.

00:05:46: Qualität, guter Punkt aber auch das Thema Übersichtigkeit.

00:05:48: Weil teilweise arbeiten wir ja auch mit sagen wir relativ komplexen Promns und Sachen.

00:05:54: ich kenne dasselbe meine Chats werden dann immer länger da muss man auch noch mal runter scrollen.

00:05:57: was war denn da?

00:05:58: Und wie ist das jetzt zustande gekommen?

00:06:00: und deshalb haben wir auch extra so ein eigenes Feld quasi für ja komplexere Fragestellungen nämlich dass da auch wie so eine kleine Zusammenfassung noch mal erstellt wird.

00:06:08: Das heißt Problem auf jeden Fall analysieren, die Schritte nachvollziehbar erklären und auch die Schlussfolgerungen daraus transparent machen weil das ist ja auch etwas wir wollen ja KI nutzen um damit zu arbeiten und zwar indem wir darüber auch nachdenken was uns die Karriere ausgibt und deswegen auch an der Stelle einfach nochmal das quasi immer ohne und das ist eigentlich auch die Idee ein bisschen von einem System prompt ihr müsst es nicht immer neu angeben sondern dass ihr so ein bisschen diesen Rückhalt habt, okay wenn ich jetzt eine komplexere Anfrage habe dann automatisch bei meiner Anfrage auch wenn ich es nicht nochmal in den Prompt schreibe sollte mir diese KI zum Beispiel das ganze noch mal nachvollziehbar machen.

00:06:44: Genau wir hatten dazu auch schon meine Folge.

00:06:46: da ging's nämlich auch darum inwiefern man eine Antwort oder zumindest auch dem Prompt strukturieren soll.

00:06:54: und auch da sind wir schon zu dem Ergebnis gekommen als auch strukturiertere Antworten von KI weniger Fehler anfällig sind, weil sie halt eben auch da nochmal mehr... Da ist einfach ein Schritt mehr dazwischen der das alles prüft.

00:07:13: Also auch dass wirklich in Zusammenspiel mit den anderen Sachen extrem hilfreich und was natürlich auch.

00:07:21: also das ist so ein bisschen No-Brainer für alle.

00:07:24: Keiner von uns möchte das aber die wenigsten schreiben es so expliziert hin, nämlich einfach zu sagen bitte erfinde keine Quellen.

00:07:36: Also nenne nur Quellen wenn du sicher bist dass sie auch existieren.

00:07:40: und auch da wieder geben wir wieder so ein Sparkrein so hey!

00:07:45: Nur das was auch daßes ist Wenn Du dir unsicher bist dann markiere das auf Bitte.

00:07:51: Und natürlich, was auch dazu gehört Vollständigkeit, Präzision.

00:07:55: Deswegen wenn nur ein Teil der Antwort irgendwie sicher ist dann sollte er auch noch einen Teil ausgegeben werden.

00:08:00: also ihr merkt schon wir wollen eben insgesamt mit diesem prompt einfach dafür sorgen dass ihr möglichst leicht immer unterteilen könnt okay stimmt das jetzt?

00:08:06: und wenn gesagt wird das so stimmt warum wird gesagt dass es stimmt

00:08:10: ja und das letzte für diesen doch bisschen längeren system prompt es erinnert mich so ein bisschen.

00:08:17: Ich meine, wir haben jetzt noch keine Kids.

00:08:19: Aber ich würde es wahrscheinlich meinem Kind genau so sagen, bevor du was sagst überleg mal kurz.

00:08:25: Bevor irgendwas aus deinem Mund rauskommt, einmal kurz überlegen den Kopf und Schatten ob das richtig ist, was da raus kommt.

00:08:33: So!

00:08:33: Und genau das... sagen wir auch in unserem KI-Tool, indem wir einfach sagen okay überprüfe vor der finalen Antwort kurz ob die Aussage plausibel konsistent und vollständig ist.

00:08:45: So würde ich jetzt zum Kind aber natürlich wahrscheinlich nicht sagen Aber ihr versteht das im Prinzip Wir sagen einfach nochmal hey mach noch mal einen kurzen Schritt zurück guck doch mal was du daraus geben willst.

00:08:56: kann das stimmen oder nicht?

00:08:57: also man gibt es ein bisschen wie so ein Qualitätsprüfschritt rein.

00:09:01: was ihr aber insgesamt ihr könnt diesen prompt wie wenig jetzt ganz kurz vorgestellt haben natürlich kopieren ausnahmsweise allerdings auch mit der einschränkung.

00:09:10: vielleicht habt ihr da auch ein punkt der für euch arbeitsspezifisch war.

00:09:16: gerade schwer.

00:09:16: ist es warm sinnvoll ist dann fügt das natürlich gerne dazu.

00:09:20: also wir haben jetzt probiert eine möglichst allgemein gültige gute basis für euch erst mal zu schaffen aber dass man das natürlich ausbauen kann.

00:09:28: auf jeden fall achtet nur darauf.

00:09:30: Ich finde wir sind schon an der Grenze mit dem Prompt, dass er sehr umfangreich ist zu.

00:09:34: Wieder diesem Kipppunkt wo Kai dann irgendwann verwirrt sein könnte aufgrund der Angaben die wir Menschen so machen.

00:09:40: deswegen also falls ihr noch fehlenzufügt auf jeden Fall nochmal kritisch gucken.

00:09:43: notfalls müsste was was Renate und ich ja eingegeben haben nochmal kicken?

00:09:48: Dann ist es so und dann sagt uns aber Bescheid was ihr entfernt habt und durch was ihr das ersetzt habt und dafür müsst du uns eine E-Mail schreiben an meisterpromter at tdrn.de

00:09:58: Genau!

00:09:58: Also Ihr könnt das wie gesagt natürlich noch ergänzen.

00:10:02: Ich würde euch auch für Stella sagt nicht unbedingt empfehlen, noch was aus einem anderen Blickwinkel bezüglich des Lügens wirklich noch hinzuzufügen.

00:10:12: aber in die Einstellungen an sich da kann natürlich noch rein, wie ihr möchtet quasi dass ihr angesprochen werdet.

00:10:19: also all das ist ja nochmal ein komplettes Konstrukt.

00:10:22: wir beleuchten mit diesem Prompt der quasi Nur in Anführungszeichen, nur ich finde das eigentlich die wichtigste Sache dass es weniger Lügen raus gibt.

00:10:33: Vielleicht machen wir mal noch eine Folge wo wir mehr darauf gucken.

00:10:36: hey was können wir dann noch so reinmachen?

00:10:37: also schön dran bleiben und generell das kommt nämlich ein bisschen zu ja häufig zu Missverständnissen weil dieser prompt den ich habe darüber auch einen real gemacht der wurde tausend mal über achtunddreißigtausendmal angefragt.

00:10:56: Das heißt, viele Leute nutzen ihn natürlich und manche Leute gucken einfach zurück und denken so ich gebe den jetzt rein.

00:11:03: In dem Fall lügt nicht mehr.

00:11:06: Ich muss euch den Zahn ziehen?

00:11:07: So funktioniert es leider nicht!

00:11:10: Wir geben quasi mit diesem System prompt eine also mehr oder weniger starke Tendenz rein.

00:11:17: zu den Antworten Es funktioniert nie zu hundert Prozent.

00:11:21: Es ist halt immer noch ein KI-Tool, was nach KI-tooltechniken arbeitet.

00:11:27: Und da steht natürlich viel mehr dahinter als wenn wir jetzt nur einen System from herein geben können.

00:11:34: aber wie gesagt es hilft die Tendenz in die richtige Richtung zu pushen und das Lügen zu reduzieren.

00:11:42: Aber es ist jetzt nicht euren kritischen Blick, das Prüfen der Aussagen die ihr aus KI bekommt.

00:11:47: Und deswegen sagen wir euch immer dazu und bitte haltet euch dran!

00:11:50: Weil es ist ja letztendlich auch... Ja es kommt eure eigenen Arbeit zugute wenn ihr da natürlich kritisch mit den Sachen seid.

00:11:58: Und ansonsten, du hast es gerade so gesagt vielleicht sagen wir euch eines Tages auch noch mal was war noch.

00:12:04: Natürlich tun wir das in einer der folgenden Folgen da haben wir eben grad schon drüber gesprochen dass wir euch mal ein bisschen zeigen wollen was ist eigentlich sinnvolles in den Systemeinstellungen hinterlegen und was nicht?

00:12:13: Jetzt hast sie meine Geschichte stunden.

00:12:17: Ja sorry es tut mir leid aber Also, ob das in den nächsten Wochen schon der Fall sein wird.

00:12:24: Das erfahrt ihr nur wenn die nächste Woche wieder einschaltet und deswegen würde ich jetzt sagen seit nächster Woche wieder dabei.

00:12:30: vergesst nicht unseren Newsletter zu abonnieren weil da kriegt ihr immer noch – ich glaube es ist auch wichtig das einmal zu erklären – ihr kriegt noch ein extra Prompt, der halt den Podcast ergänzt was sich aber ja nicht gegenseitig kanimalisiert.

00:12:41: sonst weiß ich nie.

00:12:42: müssen wir euch ja nicht sagen dass es Newsletter gibt so!

00:12:44: Deswegen abonniert ihn sehr gerne und er ist auch kostenlos und es gibt einen Link in dem Shownoten.

00:12:50: Dann haben wir noch was zu sagen.

00:12:52: Außer?

00:12:54: Drei, zwei, eins... Bleibst du!