Wann hört KI auf dich?

Prompt-Hacks mit Renate und Stella

Shownotes

Du gibst ChatGPT, Claude oder einem anderen KI-Tool einen Befehl, aber deine Eingabe bringt nicht die gewünschte Ausgabe? Vielleicht liegt das daran, dass dir bestimmte Voreinstellungen nicht bewusst sind. In dieser Podcast-Episode besprechen wir – Prompt-Engineer Susanne Renate Schneider und t3n-Redakteurin Stella-Sophie Wojtczak – was hinter dieser Art von Hierarchie in KI-Tools steckt.

Schreib uns gern, welche Prompts wir aus deiner Sicht behandeln sollen. Entweder per E-Mail an meisterprompter@t3n.de oder via Instagram. Renate findest du unter @renate.gpt, Stella schreibst du über @t3n_magazin.

Hinweis: Dieser Podcast wird von einem Sponsor unterstützt. Alle Infos zu unseren Werbepartnern findest du hier.

Transkript anzeigen

00:00:03:

00:00:05: Herzlich Willkommen zu T-Train Meisterprompter, dem Podcast der eure Promps auf Hochglanz poliert.

00:00:12: Und heute zeigen wir euch warum eure liebevoll eingestellten Custom Instructions manchmal einfach übergangen werden von KI Tools und was es alles damit auf sich hat.

00:00:25: Und ich sitze hier virtuell mit Stella von Tetra N,

00:00:28: und mir zugeschaltet ist Renate von Renate GPT.

00:00:32: Das Thema habt ihr ja schon gehört und ich glaube wir müssen erstmal damit einsteigen wie generell so die Hierarchie eigentlich gebaut ist wer was zu sagen hat bei den ganzen KI Tools.

00:00:43: Genau weil ich glaube normalerweise als User hat man so ein bisschen das Gefühl dass was ich sage dem ist nicht so, den San können wir euch schon mal ziehen.

00:00:56: Denn das ist immer das was zuletzt kommt irgendwo.

00:01:00: also das zeigen wir euch heute was die Hierarchie da alles ist, was da überhaupt alles mit rein spielt.

00:01:05: denn da hat es nicht nur ein Tool und das was ich sage sondern wir haben ja sowohl den Chat als auch das was wir jetzt ich sag mal zuletzt sagen oder unsere Aufgabe geben.

00:01:17: dann haben wir die Custom Instructions dann ist ja noch toolseitig quasi die Systemeinstellungen.

00:01:25: Genau, und vielleicht auch da natürlich könnte theoretisch auch Eingaben darüber tätigen wenn ihr eine PDF anhängt oder rein theoretisch irgendeine andere Information.

00:01:36: es kann auch ein e-mail sein.

00:01:37: also sprich alles was ihr natürlich auch reingebt kann in der Theorie Aufgabe enthalten.

00:01:42: das sind so erstmal man könnte sagen die Befehlsquellen die so einen Tool haben können.

00:01:49: Genau und ich sage mal so, weil mir fällt das auch manchmal auf.

00:01:53: Wir zeigen ja auch zum Beispiel auf Prompts zum Thema dass KI nicht lügen soll und dass es seine Unsicherheiten aufklären soll.

00:02:02: Und ich hatte auch letztens eine Custom Instruction hinterlegt Zum Thema bitte gibt mir zu jedem also allem was du sagst an wie sicher du dir bist und Das macht es nicht zuverlässig nur weil ich das in den Custom Instructions habe.

00:02:19: Und jetzt natürlich die Frage, woran liegt es und warum kann's nicht einfach immer das machen was wir da hinterlegt haben?

00:02:25: Und vielleicht müssen wir noch ergänzen.

00:02:26: Es gibt noch eine Ebene und zwar wenn ihr zum Beispiel in einem Unternehmenskontext arbeitet Das kann ja vielleicht sein euer Unternehmen hat ne Co-Pilot Lizenz Deshalb nutzt er im DKI oder ihr arbeitet mit nem GPT also sprich Open AI Anthropic Irgendwas davon Dann kann das natürlich auch sein dass quasi das Unternehmen bestimmte Ja Regeln könnt ihr euch vorstellen, bestimmte Systemeinstellungen nochmal angepasst vorgegeben hat für diese Arbeitsumgebung in der er euch befindet.

00:02:54: Also vielleicht muss man sich das vorstellen wie so ein Kreis und der ganz äußere Kreis also der größte Ausgangspunkt.

00:03:01: Das ist quasi der ganze große Topf wo Trainingsdaten, Vorgaben, Sicherheitsregeln von den Anbietern drin sind.

00:03:08: dann wird es so dass fällt so ein bisschen verkleinert zu den wenn vorhanden Unternehmens Produktvorgaben, die da eingegeben werden.

00:03:16: Und dann kommt ihr als Nutzer oder halt wenn er natürlich privat unterwegs seid fällt dieser zweite Layer weg ist auch klar und ich glaube würde das als Aufbau funktionieren Renate?

00:03:27: Genau also ich stelle es mir aus ein bisschen wie so einen Kreis vor und oben wie du halt gesagt hast diese Plattform- und Sicherheitsregeln von den Anbietern an sich.

00:03:37: dass

00:03:38: ist wichtig, damit die Tools nicht missbraucht werden.

00:03:41: Also dass man zum Beispiel keine schädigenden Sachen quasi, keine schädigen Antworten daraus bekommen kann.

00:03:50: Falls da gab es ja auch... Das sind immer so die Sachen

00:03:52: z.B.,

00:03:53: die Jail Breaks, die sich damit beschäftigen wie man das umgehen kann.

00:03:57: aber es hat seinen Sinn warum diese Sicherheitsregeln da sind.

00:04:01: Deswegen kommt's so oben rum und die kriegst du auch in der Regel!

00:04:05: Wenn du nicht halt diese Jailbreak-Hacks anwendest, kriegst du die auch nicht weg?

00:04:10: Nur weil du jetzt sagst ja und jetzt bist du machst sonst was.

00:04:14: Das funktioniert nicht!

00:04:15: Weil das Tool einfach von sich aus sagt nein, dass sind die Sicherheitsregeln drüber hinaus weiter geht es nicht Und genau dann kommt halt darunter.

00:04:24: diese Entwicklerregeln hat natürlich auch einfach seinen Sinn, dass es da ist.

00:04:30: Und da kannst du auch als End-User wenn du vor dem Tool sitzt also natürlich auch Stellar wie du gesagt hast Wenn du eine KI von deinem von deiner Firma nutzt dann kannst du da auch nicht einfach einen Prompt eingeben und erwarten.

00:04:43: jetzt kann ich das auflösen oder sagen hey bitte beachte jetzt nicht mehr die Entwickler regeln Das funktioniert halt nicht.

00:04:50: Also auch das steht quasi über dir Stella, du hast genau so auch schon gesagt jetzt kommen wir dann erst.

00:04:58: Also das heißt Dann kommt der Chat also dass was wir als prompt raus geben bestmöglich so klar wie möglich und Das geht aber sofort ja verloren Sobald ich einen anderen chat auf mache.

00:05:12: Aber soweit Ich das in diesem chat in dieser chat umgebung mache gilt das halt

00:05:18: höher

00:05:20: Und dann kommen erst diese Custom Instructions.

00:05:25: Und ich hatte irgendwie auch ehrlich gesagt persönlich, weiß nicht wie es bei dir ist Stella das Gefühl dass die Custom Instructions drüber stehen.

00:05:33: weißt du?

00:05:34: Ja, das war auch meine Fehlannahme.

00:05:35: Also vielleicht noch mal als Reminder nur für diejenigen, die vielleicht auch das erste Mal dabei sind Jailbreak.

00:05:40: was Renate gerade gesagt hat meint eben das gezielte Umgehen von solchen Grundeinstellungen in ich würde mir behaupten eher bösartige Absicht.

00:05:49: so

00:05:50: dementsprechend also nicht der Otto-Normal Verbraucher der das einfach für seine Arbeit nutzt sondern wie gesagt was anderes dahinter dass mein Jailbreaking und die Custom Instructions sind eben diese man könnte sagen Grundeinstallung die ich als Nutzer vergeben kann.

00:06:03: Dazu haben wir euch auch neulich eine Folge gemacht.

00:06:05: Das hatten wir auch im Newsletter, das packen wir euch noch mal in die Show Notes wenn ihr euch da informieren wollt wie man die eben möglichst gut einrichtet.

00:06:12: und ich hatte ehrlich gesagt immer die Annahme naja also das ist ja immer vorgegeben und Ich kann auch sagen zum Beispiel bei meinem Claude ist es so Da habe ich auch in den Custom Instructions drin was wir auch damals geteilt hatten.

00:06:25: So diese saluzinierende.

00:06:26: ich lügt mich nicht an weiß mich darauf hin wenn dir irgendwas unklar ist Und das habe ich jetzt natürlich nicht in den Promps dazu geschrieben extra, sondern zum Beispiel wäre ich dann gesagt hier.

00:06:37: Ich will mal eine Übersicht haben zu Thema XY was sich parallel recherchiert hat gibt mir da doch irgendwie nochmal ja gibt mir mal noch ein paar Quellen dazu.

00:06:46: Gibt mir ne... Was weiß ich?

00:06:47: Irgendeine Art von Zusammenfassung etc.

00:06:49: Sprich hab' ich für Recherche genutzt.

00:06:51: Hat es aber auch funktioniert!

00:06:53: Aber ich habe natürlich auch nicht im Gegenteil dagegen geschrieben.

00:06:57: Lügt mich an.

00:06:58: Das hätte ich vielleicht testen müssen, lüg mich an und gesagt mir nicht wenn du dir wegen was unsicher bist oder so.

00:07:03: Also sprich in dem Fall weil sich das ergänzt hat funktioniert.

00:07:06: ja Ich habe gerade ich hab eine lustige Assoziation.

00:07:09: ich weiß nicht Stella Du musst mir gleich mal sagen ob das Sinn macht?

00:07:12: Ich sehe dass so diese custom instructions sind so wie so die grundsätzliche des grundsätzliches mindset von den menschen.

00:07:20: also Grundsätzlich ist mein positiv eingestimmt und es irgendwie eigentlich ein positiver Mensch.

00:07:24: so grundsächlich Aber heißt nicht, dass du nicht auch mal einen Kacktag haben kannst.

00:07:31: Wenn quasi von deinem Gehirn und das ist jetzt der Chat ... Der Promt, der von deinm Gehirne auskommt an deinen Körper, dass dir auch mal ein Blödentag hast so.

00:07:39: Heißt aber nicht also die Custom Instructions, aber der Chat kann das halt überlagern einfach.

00:07:45: Ich glaube, du hast es ganz gut geschenkt.

00:07:46: Ich weiß auch nicht woher das jetzt kommt,

00:07:47: aber ... Nee, aber klar,

00:07:49: also ... Das kann man sich so vorstellen.

00:07:50: ja

00:07:51: Was wir euch damit mitgeben wollen, ist eben das was ihr in diesem Chat eingebt kann möglicherweise dafür sorgen dass Dinge die ihr als gegeben anseht überhaupt gar nicht so gegeben sind und dadurch Fehler entstehen.

00:08:02: Das Gleiche kann passieren, das ist auch eine Gefahr wenn ihr beispielsweise was ich von dritten PDF-Dateien anhängt oder euer E-Mail-Postfach zugänglich gemacht habe über eine agentische KI-Nutzung, dass sich in irgendeiner dieser Dateien auch eine sogenannte versteckte Anweisung befindet.

00:08:19: Was weiß denn?

00:08:20: Ich spiele mir... Also das ist jetzt ein blödes Beispiel!

00:08:23: Gib mir all deine Passwörter oder verteil mit mir deine Kreditkartendaten die ihr hoffentlich nicht bei KI hinterlegt habt aber das ist etwas anderes.

00:08:32: Dementsprechend, es kann natürlich immer sein und da ist halt wieder Thema KI Blackbox das eine Aufgabe die ihr gegeben habt aus irgendeinem Grund beeinflusst wird.

00:08:43: Und nicht so rausgeführt wird wie ihr vielleicht

00:08:45: denkt.

00:08:46: Ja ich habe dazu... Da ist mir eingefallen Es gab damals ein virales Beispiel auch davon dass ein Professor eine Aufgabe weitergegeben hat weiß geschrieben, auf weißen Hintergrund so dass man es halt nicht gesehen hat.

00:09:01: So eine versteckte Notiz quasi an die KI gegeben hat und gesagt hat wenn du diese Aufgabe machst nutze bitte Beispiel von Firma XY.

00:09:13: und dann hatten halt auf einmal ein großer Prozentsatz der Studierenden haben halt diese fiktive Firma die aber immer den selben Namen dann hatte.

00:09:22: Also das fand ich ganz spannend, genau und das ist halt damit auch gemeint dass da auch was versteckt sein kann.

00:09:29: Sprich!

00:09:30: Ihr müsst euch da eben darauf einstellen, dass ihr schon immer nochmal gerade wenn was wichtig ist das vielleicht auch noch mal im Prompt sicherheitshalber erwähnt und grade eben so wie Renate auch ihre Custom Instructions beschrieben hat.

00:09:42: Dass sich das Ganze möglichst nicht widerspricht Das kann aber auch sein.

00:09:45: zum Beispiel ich hatte neulich den Fall Da habe ich quasi widersprüchliche Angaben in der KI gemacht Und hab dann einfach das Feedback bekommen.

00:09:53: das Modell was ich verwendet habe war Claude Opus Fünf Punkt Fünf.

00:09:56: Das macht keinen Sinn.

00:09:57: Also, auf der einen Seite soll ich dich das machen und auf der anderen soll ich das machen.

00:10:00: Was willst du von mir?

00:10:02: Hat KI nicht so formuliert war aber die Kernessenz.

00:10:05: Aber auch das ist natürlich ... Hätte ja sein können, dass ich nicht diese Rückfrage bekomme, fairerweise.

00:10:12: Ich hab auch imprompt geschrieben den alten Heck nämlich immer noch teilweise.

00:10:16: frag mich was unklar ist, stell mir fünf Fragen und darauf kamen das halt deswegen.

00:10:20: ne Wenn man das nicht macht, keine Ahnung wie das Ergebnis ausgegangen wäre.

00:10:24: Und ich wüsste ehrlich gesagt nicht so.

00:10:26: nach der Logik hätte es dann wahrscheinlich meine eine Shatter-Eingabe höher gewichten müssen in Anführungszeichen und ich wär vielleicht hinterher ganz verwirrt gewesen was denn dafür ein Schmarrn rausgekommen ist.

00:10:36: Weißt du was sie auch spannend fand jetzt in der Vorbereitung auf die Folge?

00:10:40: Das quasi wenn ... Ich sag mal auf dem selben Rang Widersprüchliche Sachen genannt werden, also zwei widersprüchlichen Regeln sozusagen.

00:10:51: Dass dann einfach der Zufall entscheidet oder die Gewohnheit.

00:10:55: Also das was du halt öfter machst?

00:10:57: Weil dann hat es ja quasi auch eine höhere Gewichtung diese Regel weil Kai davon ausgeht okay dass so will sich's immer.

00:11:05: Oder halt einfach Zufalls, finde ich sauwitzig eigentlich!

00:11:10: oder auch irgendwie ein bisschen erschreckend, weil gerade Zufall so kann ich ja null beeinflussen.

00:11:17: Ja!

00:11:17: Das ist wirklich typisch Blackbox.

00:11:19: deswegen jetzt habt ihr die Problematik hoffentlich verstanden in unserer ausführlichen Erklärung.

00:11:24: was sollt ihr denn damit machen?

00:11:26: Also sprich wie geht man jetzt da mit dem Arbeitsalltag um grade auch mit Blick auf KIA-Genten Total ein Anweisungswust wird, den ihr nicht überblicken könnt.

00:11:36: Genau

00:11:36: also für mich ist auf jeden Fall das Wichtigste wirklich immer auch zu reflektieren so hey okay was es jetzt?

00:11:43: Was sind jetzt Chat-Nachrichten die quasi ja über dem Rang stehen und was stelle ich vielleicht auch in meinen Custom Instructions da?

00:11:53: was ich denke jetzt habe ich die KI ausgetribbelt was du gar nicht austribeln kannst Du kannst ja auch nicht sagen und deswegen schreiben wir hier auch, sind die Custom Instructions wenn wir sagen hey wie bringen wir KI dazu uns nicht anzulügen.

00:12:07: Schreiben könnte man jetzt einfach sagen lügt mich nicht an so ne?

00:12:11: Aber das führt vielleicht nicht ungefähr dazu sondern da müssen wir halt wirklich beschreiben.

00:12:16: was soll es ganz genau machen damit wir quasi da nicht irgendeine Regel aufstellen die entweder nichts damit zu tun hat oder gegen andere Regel geht.

00:12:25: Und generell, wir als Nutzende können – wir nehmen jetzt mal wirklich solche Jailbreak-Fälle aus – nicht überschreiben in Anführungszeichen was die Administratoren das Unternehmen selbst, also der KI-Anbieter vorgegeben hat.

00:12:39: Dementsprechend muss man sich immer klarmachen irgendeinen Mux da reinschreiben und irgendwelche Regeln umgehen wollen.

00:12:46: Zum Beispiel, ich hab mal bei Trophic in die Regeln geguckt, das steht zum Beispiel auch drin, soll nicht helfen Bio-Waffen und sowas zu erstellen?

00:12:55: Das sind halt diese Sicherheitsregeln, die Renate eingangs meinte.

00:12:59: was ihr euch also merken könnt ist wenn ihr so wie wir es euch gezeigt haben sagen wir mal was habt, wo ihr wirklich sagt es soll in jedem Chat standardmäßig verwendet sein beispielsweise sei kritisch stimm mir nicht einfach immer zu.

00:13:12: Das hat sich zum Beispiel für mich bisher echt gut bewährt und ich habe gemerkt in diesem Vergleich zwischen Ich hab's nicht an den Custom Instructions Und ich habs drin sind die Karrieren Worten bis zu einem gewissen Maß würde ich sagen kritischer Mir gegenüber und nicht so.

00:13:26: hey das ist eine tolle Idee.

00:13:28: vielen Dank.

00:13:29: So, das andere ist natürlich guckt bei unseren Aufgaben und wenn ihr merkt okay ich habe in den Custom Instructions folgendes drin auch entsprechend in der Aufgabe vielleicht darauf hinzuweisen.

00:13:39: Und ganz wichtig, achtet immer darauf.

00:13:41: Gerade wenn ihr irgendwie Dateien aus einfügt tut das nicht einfach sagen wir mal von ungesicherten Anbietern sondern auch da kann tatsächlich ohne dass sie es mit bloß im Auge erkennt denkt dann Renates Beispiel mit dem Professor und dem weißen Text steht irgendwas drin und ihr seht's nicht.

00:13:58: also bloß weil ihr nichts erblicken könnt heißt es nicht dass nicht auf irgendeiner anderen Text eben noch eine Aufgabe quasi hinterlegt ist.

00:14:07: ja die eure KI beeinflusst

00:14:09: Genau.

00:14:09: Also ich fand es auf jeden Fall gut, wirklich einfach das auch nochmal zu wissen und das auch noch mal zu reflektieren.

00:14:16: Das heißt falls ihr euch da mal merkt so hey irgendwie macht ja gar nicht das was ich hier gemacht habe oder gesagt habe in den Custom Instructions oder im Chat dann könnte uns vielleicht daran liegen und wenn ihr noch einen Wutsch habt für eine Folge also noch über weitere, ich weiß auch nicht jetzt.

00:14:35: Da schlage ich gerade eine weite Brücke hier.

00:14:38: aber wenn ihr ja auch weitere Wünsche habt wo ihr sagt hey das ist mir aufgefallen warum ist es denn so?

00:14:44: Dann könnt ihr uns natürlich schreiben an meisterprompter at tetrain.de Und

00:14:49: bis dahin sagen wir... Hört ihr, lesen natürlich auch in den Newsletter rein.

00:14:54: Die Infos gibt es wie gesagt in den Show-Notes und sonst hören wir uns nächste Woche wieder!

00:14:58: Wir haben noch einiges auf der Liste zum Beispiel solche Themen auch wie Second Brain.

00:15:02: Wenn ihr das nicht verpassen wollt, schaltet gerne wieder einen.

00:15:05: abonniert diesen Podcast gebt uns wie gesagt Feedback und dann bleibt nur noch zu sagen drei zwei eins bleibt sauber.

Neuer Kommentar

Dein Name oder Pseudonym (wird öffentlich angezeigt)
Mindestens 10 Zeichen
Durch das Abschicken des Formulars stimmst du zu, dass der Wert unter "Name oder Pseudonym" gespeichert wird und öffentlich angezeigt werden kann. Wir speichern keine IP-Adressen oder andere personenbezogene Daten. Die Nutzung deines echten Namens ist freiwillig.