Richtiger KI-Kontext mit Kanarienvogel

00:00:03:

00:00:12: Und eine Frage an die Stella, kennst du das?

00:00:15: Wenn du so einen langen Chat hast in deinem KI-Sprachmodell.

00:00:20: Egal welches...

00:00:26: Genau gerade kenne ich das, wenn du zum Beispiel Brainstorming machst oder am Anfang – wir bringen ja hier auch ein Podcast immer bei – zu sagen welches Ausgabeformat man haben möchte.

00:00:36: Und ich finde daran sieht man dann immer ganz schnell wie so'n bisschen DKI in Anführungszeichen dümmer wird weil auf einmal stimmt das Format nicht mehr und das ist sowas!

00:00:44: Das eine Kleinigkeit.

00:00:45: Aber dann machst du das unübersichtlich und ärgere ich mich.

00:00:48: Also ja, ich kenne es, kennst du's auch?

00:00:50: Ich kenne sie sehr gut.

00:00:51: Und ich weiß, dass viele von euch kennen.

00:00:55: Deswegen haben wir heute das Thema aufgegriffen.

00:00:57: Erst mal zu erklären, was ist denn das überhaupt?

00:01:01: Wird Kai jetzt einfach dümmer?

00:01:02: Ist es sowieso Archie mein Hund, der dich irgendwann nicht mehr hören möchte, weil er etwas anderes im Kopf hat?

00:01:09: Was können wir dagegen machen?

00:01:10: Was sind ganz easy-Mittel um ... dem Ganzen herzuwerden und auch zu wissen, hey, wann muss ich einen neuen Chat anfangen?

00:01:18: Und wie kann ich weiter machen.

00:01:20: Ich sitze hier im Studio mit Stella von TITRA N

00:01:24: und nehm mir jetzt Renate von Renata GPT.

00:01:26: Hi!

00:01:28: Gehen wir rein.

00:01:29: Was heißt denn das überhaupt?

00:01:31: Also dieses Context Window.

00:01:34: Jetzt es gibt ein neues ... Und ich wirst dir, das wird bestimmt ein neuer Hype-Word.

00:01:40: Nach Loop Engineering sind wir jetzt beim ContextRot.

00:01:49: Also übersetzt, also kontextvolle Leute!

00:01:52: Ich habe das nur auch so gelesen in der Vorbereitung und dachte, so kontextfoil ist wirklich ein wildes Wort.

00:01:58: Bleiben wir bei Contextrot?

00:02:00: Letztendlich, und das Wort wird euch wahrscheinlich mal über den Weg laufen.

00:02:05: Ist das sogenannte Context Window?

00:02:08: Was ist es jetzt?

00:02:10: Und da komm ich mal mit einer bildlichen Metapher her!

00:02:13: Denn ich finde ... du grad ... Sela, guck gerade so die Augen wär ganz groß.

00:02:17: Oh Gott,

00:02:18: was kommt?

00:02:18: Was kommt jetzt?

00:02:19: Ihr müsst ... Ich weiß nicht, wie lange ihr am Meisterpromptas schon hört oder gibt's ja immer Mitwurfs- und Relate is einfach wirklich die Queen der Metaphern Und vor allen Dingen auch so dieser typischen Redewendung.

00:02:31: Deswegen bin ich dann immer ganz gespannt und denke, was kommt jetzt?

00:02:35: Es gibt zwei Varianten!

00:02:36: Ich kann ernst bleiben oder... Ihr werdet hier gleich einen Schnitt sehen, weil wir beide tierisch angefangen haben zu lachen.

00:02:42: Also ja

00:02:43: bitte!

00:02:43: Okay also das Context Window stellt euch vor ein Glas und jetzt ist es natürlich auch wieder so... Jetzt ist natürlich das Glas halb leer oder halb voll.

00:02:52: Nee darum geht's tatsächlich nicht.

00:02:53: aber das Contxt Window darunter könnt ihr euch quasi wie das Gedächtnis auch vorstellen von so einem Chat Und wenn ihr einen neuen Chat startet dann isst Das Glas noch leer.

00:03:03: Da ist ja nichts drin, das heißt Context Window, alles noch fein.

00:03:07: Hier ist noch Platz drin und dann kommt da immer mehr Info rein, immer mehr Kontext und ... Das muss man natürlich einmal wissen auch?

00:03:16: Dieses Context window isst eben begrenzt!

00:03:19: Und das in jeder KI also bei... dass es unterschiedlich wie groß die Context Windows sind aber das erweitert sich auch jedes mal wieder zum Thema.

00:03:29: Wenn ich das jetzt dieses Glas habe und dann kommt halt immer mehr rein, dieses hin-undherr-, hin-unherrpingpong... Das Glas füllt sich!

00:03:38: Und wenn das dann irgendwann voll ist, dann läuft es über.

00:03:41: Und ehrlich gesagt deswegen die Metapher ist sehr gut weil da läuft's über und dann laufen so Informationen über.

00:03:48: Dann sind die raus aus dem Glas.

00:03:50: aber dass KI-Modell erinnert sich nur an das, was im Glas drin ist.

00:03:54: Und diese Infos, die halt raus sind, sind weg und das sind eben meistens die so vom Anfang.

00:03:58: dann also das fällt halt dann weg und da kommen wir halt dahin dass du sagst hey ich habe doch am Anfang gesagt es soll das in diesem Format ausgeben und auf einmal macht's das nicht mehr.

00:04:08: ja das liegt eben darin weggeschwemmt wurde sozusagen.

00:04:13: Dass man ja auch gar nicht sehen kann, wenn ihr euch vorstellt, dass das Glas mit einer farbigen Flüssigkeit gefüllt wird, dann würdet ihr zwar immer heller, aber ihr wisst ja gar nicht so richtig, welche Farbpartikel die rausgespült wurden.

00:04:24: Deswegen auch in dem Beispiel, ihr wisste halt nicht, welche Informationen auf den Weg verloren gegangen sind.

00:04:30: Vielleicht ist es nämlich etwas, was euch nicht aufgefallen ist, weil's nicht so was Det offensichtlich wie eine falsche Formatierung gewesen ist oder ihr euch nicht plötzlich wundert, warum's denn da jetzt ne Rückfrage gibt?

00:04:42: wo ihr das doch eigentlich ein paar Eingaben später vorher schon erklärt habt.

00:04:47: Und da geht's natürlich auch wieder um die Token-Limits, es gibt ja immer die Eingabe und die Ausgabetoken.

00:04:54: also stellt euch das so ein bisschen wie die Bausteine vor.

00:04:56: So ein bisschen eigentlich auch wie Coins, wie Pokerchips.

00:05:00: man hat so ein bestimmtes Gut haben und irgendwann ist es mehr und mehr aufgebraucht.

00:05:04: aber da kriegt ihr leider keinen Hinweis sondern... Das ist dann halt weg.

00:05:08: Und wir können euch auch nicht eindeutig sagen, wie groß diese Kontext-Fenster beziehungsweise die Token dahinter sind.

00:05:15: Sondern ...

00:05:16: Doch, die Kontextwun … Stimmt!

00:05:18: Da gibt es Infos?

00:05:19: Aber das Ding ist... Also das ist halt der Grund, da kann man sich jetzt nicht so viel vorstellen.

00:05:25: Und ich war ja auch als wir bei der Google IO waren, waren wir beim Hackathon und wir konnten mit den Googlern also die haben ja auch ihren eigenen Namen.

00:05:34: und dann habe ich meine Chance genutzt und gefragt nach diesem Context Window und wie ich das jetzt bestmöglich rauskriege?

00:05:41: Kann ich mich einfach fragen hey wie voll ist dein Context window?

00:05:45: und er meinte Ja kannst du machen kann auch sein, dass das richtig rauskommt.

00:05:50: Aber es kann eben auch sein... Das ist haluziniert!

00:05:53: Also das is nicht the way to go.

00:05:56: am Ende und eine Sache noch bevor wir jetzt in die Lösung kommen was es noch schlechter macht also was so das was dieses Problem noch befeuert ist wenn ihr in einem Chat immer so auch mal ausbrecht und mal fragen, die es so eine Frage darstellt.

00:06:14: Weil das ist... Da müsst ihr euch vorstellen, euer Glas wird quasi dass es so als ob ihr nächste Metapher Kirschenflücken geht, ne?

00:06:21: Ihr habt da euren Becher Und ihr flückt eben nicht nur die Kirschan rein Sondern ihr fluckt eben so halbe Äste mit rein.

00:06:29: Dann is' quasi Dann iis' Euer Kirschenklasse!

00:06:34: Da habt ihr nur Die Hälfte von guten Sachen drin und die andere Hälft ist einfach nur so nebenher was gar nicht zum Ziel beiträgt, ein Kirschkuchen zu backen.

00:06:43: Also ihr versteht das Prinzip.

00:06:44: von daher ist es wichtig dass ihr da nicht ausbrecht und eben nochmal dies noch mal das fragt und nochmal da eine Frage sondern bleibt da wirklich in eurem Kontext damit ihr das nicht selber verbessert.

00:06:56: Also Leute, keine Äste in Kirschbackuchen packen.

00:06:59: Das ist die eine Botschaft und ich glaube das Problem haben wir euch hoffentlich jetzt nahe gebracht.

00:07:03: es ist einfach für euch nutzende auch dann ärgerlich es nervt und es hilft einem auch nicht wirklich dabei sinnvoll mit Kegi zu arbeiten.

00:07:10: aber

00:07:11: ihr probier ja bei Täter hat Meisterprömter auch immer euch eine Lösung zu präsentieren und zu der kommen wir jetzt.

00:07:17: denn Wie der Name verrät, vielleicht haben wir einen Promptor für vorbereitet.

00:07:22: Dass man damit eben ein bisschen besser arbeiten kann.

00:07:25: Genau was nämlich wie laut unser Googler nicht so gut funktioniert ist zu sagen hey wie voll ist denn dein Kontext-Window?

00:07:33: Was aber gut funktioniert is dass ihr dann euch quasi eine strukturierte Zusammenpassung geben lasst.

00:07:40: also sobald ihr jetzt mal den ersten Batzen von großem Kontext erfüllt habt mit diesem Chat, dass ihr euch das dann oder natürlich wenn ihr das Gefühl habt.

00:07:52: Jetzt haben wir hier langsam was eingeschlagen!

00:07:55: Dann lasst ihr euch eine Zusammenfassung geben und ihr könntet natürlich auch einfach sagen hey gib mir ne Zusammenfassung aber wir haben euch dafür ein Prompt mitgebracht und der ist auch in den Show Notes zu finden der euch wirklich eine strukturierte Zusammenpassung gibt, der auch nach dem übergeordneten Ziel von dem Chat fragt und von den bisherigen getroffenen Entscheidungen so das quasi alles perfekt vorbereitet ist um einen neuen Chat anzulehren.

00:08:24: Mit nur den wichtigsten Infos und nicht dem Geplänkel nebenher!

00:08:29: Und dann die ... Stella?

00:08:33: Ich bin heute in der Lava, launde Leute... kennst du den Kanarienvogeltrick?

00:08:38: Ja, über den haben wir nicht schon mal im Podcast darüber gesprochen.

00:08:41: Ich hab ja

00:08:42: auch schon mal aufgetreten aber es passt jetzt hier eben wieder hin.

00:08:46: Du

00:08:46: musst einmal verraten was der kanarien Vogeltrick

00:08:48: ist.

00:08:48: Genau!

00:08:49: Es ist nämlich auch eine Methode um mitzubekommen wann ist denn dieses Context Window voll?

00:08:55: wenn nehmlich.

00:08:56: also ihr sagt ganz am Anfang vom Chat und das müsstet ihr wirklich halt am Anfang machen damit ihr merkt wie man das rüber... Also

00:09:03: mit der ersten Eingabe

00:09:04: sagt ihr Bitte nenne mich bei jeder Deine Antworten mit Vornamen.

00:09:10: Und dann seht ihr, in jeder Antwort von eurem KI-Modell steht dann quasi euer Name ... Also ich hab das jetzt auch so mal eingestellt und dann kommt immer Renate!

00:09:21: Das ist eine tolle Frage.

00:09:23: also ne?

00:09:26: Falls es dann quasi aufhört euren Namen zu sagen, dann wisst Ihr eben auch okay Diese Information, diese Anweisung ist jetzt nicht mehr verfügbar.

00:09:35: Es handelt nicht mehr danach.

00:09:36: Das ist eben auch so ein Trick und dann auf jeden Fall diese Zusammenfassung!

00:09:42: Genau.

00:09:43: Und dafür gebt ihr den Promtein, den ihr auch in den Show Notes findet.

00:09:46: und was ihr anfordert ist eine präzise strukturierte Zusammenfassung des bisherigen Chats für neue Chat-Fenster ganz wichtig.

00:09:54: dann schreibt ihr eben nochmal das Ziel dazu also quasi noch ein bisschen Kontext geben dass ihr damit weiterarbeiten möchtet.

00:09:59: wie gesagt es gibt alles in schön formuliert auch in dem Show Notes oder eingeblendet im Video.

00:10:04: und natürlich nochmal sagen wir Wir haben euch so eine Strukturierung mit an die Hand gegeben, damit ihr auch eine Übersichtlichkeit habt.

00:10:11: Was ist denn überhaupt drin?

00:10:12: Weil es kann ja auch sein wenn der Kanarienvogel Tricks schon nicht mehr funktioniert das auch in dieser Zusammenfassung logischerweise was verloren gegangen ist.

00:10:19: also guckt er auf jeden Fall vorher noch mal drauf.

00:10:22: zum Beispiel könnt ihr in dieser struktur alle bisher getroffenen Entscheidungen alle wichtigen vielleicht pro und kontrapunkte nochmal explizit anfordern steht wie gesagt auch in den show notes.

00:10:32: Und auch ganz wichtig natürlich was ist so?

00:10:34: dass aktuelle endergebnis quasi was ihr in diesem Pomp-Verlauf jetzt eigentlich habt.

00:10:40: Weil das ja euer Startpunkt.

00:10:41: dann wiederum für das neue Chatfenster, wo ihr natürlich mit neuem Kontext wieder losgeht!

00:10:47: Wir haben ans Ende auch geschrieben macht es doch bitte für uns ein Markdown warum?

00:10:51: Weil wir's hier so haben wollen.

00:10:53: dass ist in Anführungszeichen die Software also die künstliche Intelligenz am besten versteht.

00:10:58: deswegen diese Markdown Strukturierung damit das Ganze einfach auch ja eigentlich für KI Chatbots wie Tragipiti, Gemini, Claude.

00:11:05: Gut lesbar ist?

00:11:07: Genau!

00:11:08: Und dann ...

00:11:09: genau!

00:11:10: So jetzt hab ich hier einfach Renates Renefluss gestoppt... Also das gibt ihr dann da rein.

00:11:17: Ihr werdet einen Output bekommen den wenn ihr zum Beispiel auch anfragt hey machen wir das Ganze natürlich der Klassiker.

00:11:22: als PDF könnt ihr die PDF rüberziehen.

00:11:24: aber rein theoretisch können dir das auch einfach ohne extra Dateiformat euch einfach so ausgeben lassen kopieren und dann eben mit in den nächsten Chat einfügen, weiterarbeiten.

00:11:33: Und auch da wieder ... Den Kanarienvogeltrick?

00:11:36: Also nachfragen oder bitten immer, den Vornamen zu nennen oder einen Spitznamen was auch immer für euch da das passende ist!

00:11:44: Dann hoffen wir, dass ihr euch nicht mehr ärgert so wie wir eingangs besprochen, weil plötzlich irgendeine ganz offensichtliche Information fehlt.

00:11:52: Genau, und dass sie immer dafür sorgt, dass das Glas nie zu voll ist...

00:11:57: Danke, dass du mit der Metapher auch geschlossen

00:11:59: hast.

00:11:59: Ich wollte noch irgendwas mit dem Kirschenflücken sagen aber ich dachte so meine Güte!

00:12:04: Also schaltet wieder einer Mittwoch und vergesst nicht in den Shownutz gibt's auch die Infos damit ihr den T-Drehenmeister prompt ein Newsletter abonnieren könnt.

00:12:12: klickt da doch gerne mal drauf und dann sagen wir drei

00:12:16: zwei

00:12:17: eins bleibt sauber.