KI-Modelle werden abgelöst:
wie eine Automation den Modellwechsel übersteht
Eine Automation, die Bestellungen ausliest oder den Posteingang vorsortiert, arbeitet mit einer bestimmten Version eines Sprachmodells. Der Anbieter stellt diese Version zu einem angekündigten Termin ein, und der Nachfolger beantwortet dieselbe Anweisung in Teilen anders. Ein Betrieb, der beim Aufbau vier Vorkehrungen trifft und in der Beauftragung fünf Regelungen festhält, stellt seine Automation in der Übergangsfrist um, ohne dass der Vorgang einen Tag stillsteht.
Ein Großhändler lässt eingehende Bestellungen von einer Automation auslesen: Sie entnimmt der E-Mail des Kunden die Artikelnummern, die Mengen und den Liefertermin und legt daraus einen Auftrag in der Warenwirtschaft an. Das Lesen übernimmt ein Sprachmodell, das der Betrieb bei einem Anbieter gemietet hat. Zwei Jahre nach der Einführung teilt der Anbieter mit, dass er genau diese Modellversion zu einem genannten Termin abschaltet. Ab diesem Termin beantwortet das Modell keine Anfrage mehr, und die Automation legt keinen Auftrag mehr an.
Dieser Vorgang gehört zum normalen Betrieb jeder KI-Automation, und er lässt sich planen wie die Ablösung eines Betriebssystems auf den Büro-Rechnern. Der Beitrag erklärt, warum Modellversionen enden und worin sich ein Nachfolger im Antwortverhalten unterscheidet. Er benennt die drei Stellen, an denen eine Automation an ihren Anbieter gebunden ist, die vier Vorkehrungen beim Aufbau und die fünf Regelungen für die Beauftragung. Danach beschreibt er den Ablauf einer Umstellung, die drei Wege bei einer Abkündigung und den ersten Schritt für Betriebe, deren Automation bereits läuft.
Ein Modellwechsel durchläuft vier Stationen
Von der Mitteilung des Anbieters bis zum Betrieb mit dem neuen Modell
Die Übergangsfrist des Anbieters reicht für alle vier Stationen, wenn die erste am Tag der Mitteilung beginnt
Jede Modellversion hat eine begrenzte Laufzeit
Ein Sprachmodell ist ein Programm, das Text liest und Text erzeugt und dafür an sehr großen Textmengen trainiert wurde. In einer Automation übernimmt es die Schritte, für die bisher ein Mensch lesen musste: Es entnimmt einer Bestellung die Positionen, ordnet eine eingehende Nachricht einer Abteilung zu oder fasst einen Schriftwechsel für die Sachbearbeitung zusammen. Die meisten Betriebe mieten das Modell bei einem Anbieter: Die Automation schickt ihre Anfrage über eine Schnittstelle, also eine festgelegte Verbindung zwischen zwei Programmen, an die Rechner des Anbieters und erhält die Antwort zurück.
Anbieter veröffentlichen ihre Modelle in Versionen. Eine Modellversion ist ein bestimmter, unveränderter Stand des Modells mit eigener Bezeichnung, an den die Automation ihre Anfragen richtet. Solange diese Version bereitsteht, antwortet sie auf dieselbe Eingabe mit derselben Arbeitsweise. Das macht den Betrieb verlässlich, und es erklärt zugleich, warum eine Version endet: Der Anbieter entwickelt Nachfolger, und jede ältere Version belegt Rechenleistung, die er für die neueren braucht.
Die Abkündigung nennt einen Termin und einen Nachfolger
Die Abkündigung ist die Mitteilung des Anbieters, dass er eine Modellversion zu einem bestimmten Tag abschaltet. Sie kommt mit Vorlauf und nennt in der Regel das Modell, das der Anbieter als Ersatz vorsieht. Bis zum Abschalttermin stehen beide Versionen nebeneinander bereit. Diese Übergangsfrist ist die Zeit, in der ein Betrieb seine Automation am Nachfolger prüft und umstellt. Wie lang sie ausfällt, legt jeder Anbieter in seinen Bedingungen selbst fest; die eingesetzte Version und ihr veröffentlichter Abschalttermin gehören deshalb in die Unterlagen der Automation.
Das Nachfolgemodell beantwortet dieselbe Anweisung anders
Die Arbeit eines Sprachmodells wird über eine Anweisung gesteuert, im Fachgebrauch Prompt genannt. Die Anweisung ist ein Text, der dem Modell die Aufgabe, die Regeln und die gewünschte Form des Ergebnisses beschreibt, zum Beispiel: Lies die Bestellung, gib jede Position mit Artikelnummer, Menge und Einheit aus und schreibe den Liefertermin als Tag, Monat und Jahr. Beim Aufbau wird diese Anweisung so lange verfeinert, bis das eingesetzte Modell die Vorgänge des Betriebs richtig bearbeitet. Sie ist damit auf das Verhalten genau dieser Modellversion abgestimmt.
Ein Nachfolger liest dieselbe Anweisung mit einer anderen Gewichtung. Bei der Bestellautomation des Großhändlers zeigt sich das an vier Arten von Abweichungen:
- Die Form des Ergebnisses ändert sich. Das neue Modell schreibt den Liefertermin ausgeschrieben, wo das alte Ziffern lieferte, und die Warenwirtschaft nimmt das Feld nicht an.
- Grenzfälle werden anders entschieden. Die Angabe „2 Paletten“ wurde bisher in Stück umgerechnet; der Nachfolger übernimmt sie wörtlich als Menge 2.
- Der Umfang der Antwort verschiebt sich. Eine Zusammenfassung, die drei Sätze lang war, füllt nun einen Absatz und passt nicht mehr in das Notizfeld des Auftrags.
- Das Modell ergänzt Angaben, die niemand verlangt hat, etwa einen einleitenden Satz vor der Positionsliste, den der nächste Schritt als erste Position liest.
Alle vier Abweichungen entstehen an den Übergängen der Automation: dort, wo ein nachfolgender Schritt eine bestimmte Form erwartet. Über die Lesegenauigkeit des neuen Modells sagen sie nichts aus; Anbieter entwickeln ihre Nachfolger mit dem Ziel, dieselbe Aufgabe genauer zu lösen. Ein Betrieb profitiert vom Nachfolger, sobald diese Übergänge geprüft und angepasst sind.
In der Automation ist eine Sammelbezeichnung eingetragen, die beim Anbieter immer auf seine jeweils neueste Version zeigt. Der Anbieter tauscht das Modell dann zu einem Zeitpunkt aus, den der Betrieb nicht kennt, und die Ergebnisse ändern sich von einem Tag auf den nächsten. Tragen Sie eine feste Version ein: Dann bestimmen Sie den Tag der Umstellung selbst.
Die Bindung an den Anbieter entsteht an drei Stellen der Automation
Anbieterbindung bezeichnet den Zustand, in dem ein Betrieb seinen Lieferanten nur mit hohem Aufwand wechseln kann, weil seine Abläufe auf dessen Eigenheiten zugeschnitten sind. Bei einer KI-Automation entsteht sie an drei Bindungsstellen: an den Anweisungen, an den Sonderfunktionen des Anbieters und am Kundenkonto. An jeder dieser Stellen entscheidet sich beim Aufbau, wie viel Arbeit ein späterer Wechsel kostet.
Die Anweisungen sind auf ein Modell abgestimmt
Je länger eine Anweisung an einem Modell verfeinert wurde, desto mehr Formulierungen enthält sie, die nur bei diesem Modell die gewünschte Wirkung haben. Bleiben diese Stellen undokumentiert, weiß bei der Umstellung niemand, welche Sätze eine fachliche Regel des Betriebs wiedergeben und welche ein Verhalten des alten Modells ausgleichen. Der Wiki-Eintrag zur Prompt-Robustheit erläutert, woran sich eine Anweisung erkennen lässt, die auch bei einem anderen Modell trägt.
Sonderfunktionen gibt es nur bei einem Anbieter
Anbieter ergänzen ihre Modelle um eigene Zusatzfunktionen, zum Beispiel eine mitgelieferte Dokumentenablage oder eine eigene Art, Dateien zu übergeben. Nutzt die Automation eine solche Funktion, muss sie bei einem Anbieterwechsel ersetzt werden. Der Einsatz einer solchen Funktion wird deshalb bewusst entschieden und in den Unterlagen vermerkt, damit der Ersatzaufwand bei einem Wechsel bekannt ist.
Das Kundenkonto bestimmt, wer handeln kann
Über das Kundenkonto beim Modellanbieter laufen die Abrechnung, die Zugangsschlüssel und die Mitteilungen über Abkündigungen. Gehört das Konto dem Dienstleister oder einer einzelnen Person im Betrieb, erreicht die Abkündigung nur diese Stelle. Ein Konto, das auf den Betrieb lautet und von mindestens zwei Personen verwaltet wird, hält den Betrieb handlungsfähig, auch wenn ein Beteiligter ausscheidet.
Vier Vorkehrungen beim Aufbau halten das Modell austauschbar
Die Vorkehrungen für den Modellwechsel werden beim Aufbau getroffen, weil sie dort wenig zusätzliche Arbeit bedeuten. Nachträglich lassen sie sich ebenfalls einrichten, dann aber unter dem Zeitdruck einer laufenden Abkündigung. Jede der vier Vorkehrungen hat einen eigenen Nutzen für den Betrieb.
- Das Modell ist an einer einzigen Stelle eingetragen: Welche Modellversion die Automation anspricht, steht an genau einem Ort in ihrer Einrichtung. Der Nutzen: Die Umstellung ist eine Änderung an einer Stelle, und der Rückweg auf das alte Modell ebenso.
- Die Anweisungen liegen als lesbare Unterlage vor: Jede Anweisung ist im Wortlaut abgelegt, mit einer kurzen Begründung je Regel. Der Nutzen: Die Fachabteilung erkennt ihre eigenen Regeln wieder und kann entscheiden, welche beim neuen Modell unverändert gelten.
- Eine Sammlung geprüfter Beispielvorgänge liegt bereit: Der Betrieb hebt echte Vorgänge auf, deren richtiges Ergebnis feststeht, darunter die schwierigen: die Bestellung als Fließtext, die Rechnung mit zwei Steuersätzen, die Anfrage in einer Fremdsprache. Der Nutzen: Jedes neue Modell lässt sich an den eigenen Vorgängen messen, bevor es einen echten Auftrag anlegt.
- Die Form des Ergebnisses ist festgelegt und wird geprüft: Die Automation nimmt vom Modell nur Ergebnisse an, die der vereinbarten Form entsprechen, und hält alle anderen an. Der Nutzen: Eine veränderte Schreibweise des Nachfolgers erscheint als angehaltener Vorgang und gelangt nicht als falscher Wert in die Warenwirtschaft.
Diese vier Vorkehrungen hängen eng mit dem Aufbau der gesamten Kette zusammen. Warum jeder Schritt einer Automation ein prüfbares Zwischenergebnis braucht, begründet unser Beitrag KI-Automatisierung: warum lange Ketten brechen. Für den Modellwechsel zählt daraus vor allem eines: Je kleiner die Aufgabe, die ein einzelner Modellaufruf erledigt, desto genauer lässt sich nach dem Wechsel sagen, an welchem Schritt eine Abweichung entstanden ist.
Ergänzen Sie die Sammlung der Beispielvorgänge im laufenden Betrieb. Jeder Vorgang, den die Fachabteilung von Hand korrigieren musste, ist ein Kandidat: Er zeigt einen Fall, an dem das Modell an seine Grenze kam. Nach einem Jahr enthält die Sammlung die Sonderfälle Ihres Betriebs, und genau an ihnen entscheidet sich, ob ein Nachfolger besser arbeitet als sein Vorgänger.
Fünf Regelungen gehören in die Beauftragung
Die meisten Betriebe lassen ihre Automation von einem Dienstleister aufbauen. Was beim Modellwechsel geschieht, hängt dann davon ab, was bei der Beauftragung vereinbart wurde. Fünf Regelungen sorgen dafür, dass der Betrieb den Wechsel steuern kann, mit dem bisherigen Dienstleister ebenso wie mit einem anderen.
- Modell und Version sind benannt: Die Beschreibung der Automation nennt für jeden Schritt das eingesetzte Modell, die Version und den Anbieter. Ohne diese Angabe lässt sich eine Abkündigung keiner Automation zuordnen.
- Anweisungen und Beispielsammlung werden übergeben: Beide Unterlagen gehen mit der Abnahme an den Betrieb und werden bei jeder Änderung aktualisiert. Sie sind das Arbeitsergebnis, das den Wechsel möglich macht.
- Das Kundenkonto lautet auf den Betrieb: Der Betrieb ist Vertragspartner des Modellanbieters, der Dienstleister erhält einen Zugang. Damit bleiben Abrechnung, Zugangsschlüssel und Mitteilungen beim Betrieb.
- Die Beobachtung der Abkündigungen ist zugewiesen: Eine benannte Stelle liest die Mitteilungen des Anbieters und meldet eine Abkündigung mit Termin an eine benannte Person im Betrieb. Die Aufgabe steht ausdrücklich in der Vereinbarung über die laufende Betreuung.
- Der Modellwechsel ist als Leistung beschrieben: Die Vereinbarung hält fest, welche Arbeitsschritte zu einer Umstellung gehören und wie sie beauftragt wird. Der Betrieb weiß dann vor der ersten Abkündigung, welchen Ablauf er auslöst.
Diese Regelungen lassen sich vor der Unterschrift an echten Vorgängen erproben. Wie ein Betrieb eine Lösung mit eigenen Fällen testet, bevor er sich bindet, beschreibt der Beitrag Pilotphase vor dem Softwarekauf. Die dort gesammelten Testvorgänge sind zugleich der Grundstock der Beispielsammlung, an der später jedes Nachfolgemodell gemessen wird.
Der Modellwechsel läuft als kurzes Vorhaben mit festem Termin
Mit den Vorkehrungen aus dem Aufbau wird die Umstellung zu einem überschaubaren Vorhaben mit vier Abschnitten. Der Abschalttermin des Anbieters gibt das Ende vor; der Betrieb legt seinen eigenen Stichtag deutlich davor, damit für Nacharbeit Zeit bleibt.
Der Probelauf vergleicht beide Modelle an denselben Vorgängen
Das neue Modell bearbeitet zuerst die Sammlung der geprüften Beispielvorgänge. Für jeden Vorgang steht das richtige Ergebnis fest, sodass der Vergleich eine Liste der Abweichungen ergibt. Danach läuft das neue Modell einige Tage neben dem alten mit: Es erhält dieselben eingehenden Bestellungen, sein Ergebnis wird aufgezeichnet, aber nicht in die Warenwirtschaft geschrieben. Der Betrieb sieht so das Verhalten an aktuellen Vorgängen, ohne ein Risiko für den laufenden Auftragseingang einzugehen.
Die Fachabteilung bewertet die Abweichungen
Ob eine Abweichung ein Fehler ist, entscheidet die Abteilung, die mit dem Ergebnis arbeitet. Der Innendienst erkennt, dass die wörtlich übernommene Palettenangabe falsch ist und dass die ausführlichere Zusammenfassung ihm sogar hilft. Aus dieser Bewertung folgen die Anpassungen an den Anweisungen. Danach wiederholt sich der Probelauf, bis die Abteilung das Ergebnis freigibt. Welche Entscheidungen in einer Automation grundsätzlich bei einem Menschen bleiben, behandelt der Beitrag Der Mensch als Eskalationsinstanz.
Die Umstellung hat einen Stichtag und einen Rückweg
Am Stichtag übernimmt das neue Modell den Echtbetrieb. Das alte bleibt bis zum Abschalttermin des Anbieters eingetragen und kann mit einem Handgriff wieder eingesetzt werden, falls in den ersten Tagen ein Fall auftritt, den die Beispielsammlung nicht enthielt. Nach der Umstellung gelten die Regelungen des laufenden Betriebs. Dazu gehört, dass die Schwellen neu gemessen werden, ab denen ein Vorgang ohne Prüfung durchläuft; dieses Verfahren und die übrige Überwachung beschreibt unser Beitrag KI-Automation im Dauerbetrieb.
Bei der ersten Umstellung zeigt sich, welche Regel in den Anweisungen fehlte und welcher Sonderfall in der Beispielsammlung nicht vorkam. Beides wird ergänzt. Die zweite Umstellung beginnt deshalb mit vollständigeren Unterlagen und dauert kürzer als die erste.
Bei einer Abkündigung stehen drei Wege offen
Eine Abkündigung zwingt zur Umstellung, lässt aber offen, wohin. Weil die Automation ohnehin an einem neuen Modell geprüft wird, ist dies der günstigste Zeitpunkt, die ursprüngliche Wahl zu überprüfen. Welcher Weg passt, entscheiden drei Merkmale des Betriebs: wo seine Daten verarbeitet werden dürfen, wie hoch das monatliche Vorgangsvolumen ist und wie stark die Automation Sonderfunktionen eines Anbieters nutzt.
- Der Nachfolger desselben Anbieters: Schnittstelle, Kundenkonto und Vertrag bleiben bestehen, angepasst werden nur die Anweisungen. Dieser Weg hat den geringsten Aufwand und ist richtig, wenn der Betrieb mit Anbieter, Speicherort und laufenden Kosten zufrieden ist.
- Ein Modell eines anderen Anbieters: Der Betrieb misst zwei oder drei Modelle an seiner Beispielsammlung und wählt nach Trefferquote, Speicherort und Kosten je Vorgang. Der Aufwand ist höher, weil Sonderfunktionen ersetzt und ein neuer Vertrag geschlossen werden. Er lohnt, wenn sich die Anforderungen seit der Einführung verschoben haben.
- Ein Modell auf eigenen Rechnern: Ein lokal betriebenes Sprachmodell läuft auf Rechnern des Betriebs oder seines Rechenzentrums, und der Betrieb bestimmt selbst, wie lange eine Version im Einsatz bleibt. Dafür trägt er Betrieb und Wartung der Rechner. Welche Vorgänge sich dafür eignen, zeigt der Beitrag KI-Automation mit lokalem Harness.
Die drei Wege lassen sich je Schritt einer Automation getrennt entscheiden. Das Lesen der Bestellung kann beim bisherigen Anbieter bleiben, während die Zusammenfassung vertraulicher Schriftwechsel auf ein lokales Modell wechselt. Voraussetzung ist die erste Vorkehrung aus dem Aufbau: Das Modell ist je Schritt an einer einzigen Stelle eingetragen.
Der erste Schritt ist eine Bestandsliste der laufenden Automationen
Für Betriebe, deren Automation bereits läuft, beginnt die Vorbereitung mit einer Liste. Sie braucht je Automation fünf Angaben und ist an einem Nachmittag erstellt, wenn der Dienstleister oder die zuständige Person im Haus die Einrichtung öffnet. Aus der Liste ergibt sich, welche Automation als nächste von einer Abkündigung betroffen ist und wo Unterlagen fehlen.
Die Angabe wird in der Einrichtung der Automation abgelesen
Eine Erinnerung ein Quartal davor löst die Prüfung am Nachfolger aus
Fehlen sie, werden sie beim Dienstleister angefordert und abgelegt
Zwanzig geprüfte Vorgänge aus den letzten Monaten genügen für den Anfang
Eine Sammeladresse im Kundenkonto ersetzt die Adresse einer Einzelperson
Steht die erste Automation noch bevor, gehören dieselben fünf Angaben in das Lastenheft. Welcher Ablauf sich für den Einstieg eignet und in welcher Reihenfolge ein Betrieb danach ausbaut, zeigt der Beitrag Die erste KI-Automation im Betrieb.
Häufig gestellte Fragen
Der Anbieter veröffentlicht die Abkündigung mit einem Abschalttermin und schickt sie an die Adresse, die im Kundenkonto hinterlegt ist. In vielen Betrieben ist das die Adresse der Person, die das Konto bei der Einführung angelegt hat, oder die des Dienstleisters. Deshalb wird bei der Beauftragung festgelegt, wer diese Mitteilungen liest und an wen im Betrieb er sie mit Termin weitergibt. Eine Sammeladresse, die mehrere Personen lesen, verhindert, dass die Nachricht mit einem Personalwechsel verloren geht.
Ja, wenn bis zum Abschalttermin nichts geschieht. Die Automation schickt ihre Anfragen dann an ein Modell, das der Anbieter nicht mehr bereitstellt, und erhält eine Fehlermeldung. Zwischen Ankündigung und Abschaltung liegt jedoch eine Übergangsfrist, in der das alte und das neue Modell nebeneinander verfügbar sind. Wird diese Frist für die Prüfung und die Umstellung genutzt, läuft der Vorgang ohne Unterbrechung weiter.
Ein Nachfolgemodell wurde mit anderen Daten und anderen Vorgaben trainiert und gewichtet die Teile einer Anweisung deshalb anders als sein Vorgänger. Es schreibt ein Datum in anderer Form, fasst kürzer oder ausführlicher zusammen oder ordnet einen Grenzfall einer anderen Kategorie zu. Folgen hat das an den Stellen, an denen die nachfolgenden Schritte der Automation eine bestimmte Form des Ergebnisses erwarten.
Das regelt die Beauftragung, und sie sollte es ausdrücklich regeln. Für den Modellwechsel braucht der Betrieb vier Unterlagen: die Anweisungen an das Modell im Wortlaut, die Sammlung geprüfter Beispielvorgänge, die Beschreibung des Ablaufs mit Angabe des eingesetzten Modells und der Version sowie den Zugriff auf das Kundenkonto beim Modellanbieter. Liegen diese Unterlagen beim Betrieb, kann er den Wechsel mit jedem fachkundigen Partner durchführen.
Die Abkündigung ist ein geeigneter Anlass für diese Prüfung, weil die Automation ohnehin an einem neuen Modell gemessen wird. Der Nachfolger desselben Anbieters verursacht den geringsten Umstellungsaufwand. Ein Modell eines anderen Anbieters oder ein Modell auf eigenen Rechnern kommt in Betracht, wenn sich die Anforderungen an den Speicherort der Daten, an die laufenden Kosten oder an die Genauigkeit seit der Einführung geändert haben. Die Sammlung geprüfter Beispielvorgänge zeigt für jedes Modell, wie viele Vorgänge es richtig bearbeitet.
Eine feste Zahl gibt es nicht, weil jeder Anbieter die Laufzeit seiner Modellversionen selbst bestimmt und in seinen Unterlagen veröffentlicht. Planen lässt sich der Vorgang trotzdem: Eine Automation, die über mehrere Jahre läuft, erlebt in dieser Zeit mehrere Modellversionen. Der Betrieb trägt den veröffentlichten Abschalttermin der eingesetzten Version in seinen Kalender ein und prüft ihn einmal im Quartal, damit die Umstellung in einer ruhigen Arbeitsphase liegt.
Ein vorbereiteter Betrieb nutzt jeden Modellwechsel als Verbesserung
Anbieter veröffentlichen in kurzen Abständen Nachfolgemodelle, die dieselbe Aufgabe genauer lösen sollen. Eine Automation, die an eine einzige Modellversion gebunden bleibt, hat an diesem Fortschritt keinen Anteil und fällt am Abschalttermin aus. Eine Automation mit austauschbarem Modell, dokumentierten Anweisungen und einer Sammlung geprüfter Vorgänge übernimmt den Nachfolger nach einem Probelauf und arbeitet danach mit dem besseren Modell weiter.
Der Aufwand dafür entsteht einmal, beim Aufbau oder bei der Bestandsliste für eine laufende Automation. Wir richten KI-Automationen so ein, dass Modell, Anweisungen und Beispielsammlung beim Betrieb liegen, und begleiten Umstellungen bei bestehenden Abläufen. Wie wir dabei vorgehen, steht auf der Seite KI-Integration in bestehende Abläufe unseres Leistungsangebots.
Wir prüfen, wie Ihre KI-Automation auf eine Modell-Abkündigung vorbereitet ist, und melden uns in 1 Werktag.
Den Überblick über KI behalten.
Wöchentlich ein eingeordneter Fachbeitrag – was wichtig ist und was nur Lärm. Werbefrei in der E-Mail.
Zu den KI-News