Der KI-Sprachbot von Meta kann externe Softwaretools verwenden
Der KI-Sprachbot Toolformer wurde von Meta vorgestellt, der Firma, die Facebook und Instagram erstellt hat. Toolformer kann sich für die Verwendung anderer Softwaretools weiterbilden, ohne seine grundlegenden Fähigkeiten zur Sprachmodellierung zu opfern. Toolformer kann unter anderem auf externe Softwaretools wie Suchmaschinen, Sprachübersetzer und Taschenrechner zugreifen. Dies ist seiner Fähigkeit zu verdanken, APIs zu nutzen, Protokolle, mit denen sich verschiedene Anwendungen miteinander verbinden können. Es kann jetzt Aktivitäten wie Faktenprüfung, Mathematik und Terminplanung durchführen, die früher aufgrund dieser Technologie menschliche Interaktion erforderten.
Die Fähigkeit von Toolformer, das geeignete Werkzeug auszuwählen und es in einer bestimmten Situation einzusetzen, ist ein entscheidender Vorteil. Das Modell kann die Einschränkungen großer Sprachmodelle (LLMs) umgehen. LLMs sind nicht sehr gut in Arithmetik, indem sie APIs aufrufen. Beispielsweise kann es mathematische Operationen mit einer Taschenrechneranwendung ausführen. Toolformer könnte einen API-Link zu einer Kalender-App verwenden, um die Aufgabe auszuführen, ein Datum zum Kalender hinzuzufügen, wenn jemand dies möchte.
Die Grundlage von Toolformer ist ein vortrainiertes GPT-J-Modell mit 6,7 Milliarden Parametern. Laut den Experimenten der Forscher zu verschiedenen Werkzeugnutzungsaktivitäten übertrifft es das deutlich größere GPT-3-Modell. Darin enthalten sind mit deutlichem Abstand 175 Milliarden Parameter.
Der Erfolg von Toolformer beruht maßgeblich auf seiner Fähigkeit zum „selbstüberwachten“ Lernen. Um Toolformer zu trainieren, stellten die Forscher ihm eine kleine Anzahl von von Menschen geschriebenen Beispielen zur Verfügung, die veranschaulichen, wie jede API verwendet wird. Sie gaben ihm auch Zugriff auf einen riesigen Datensatz zur Sprachmodellierung, damit es zukünftige API-Aufrufe kommentieren konnte. Dadurch kann sich Toolformer ein breites Verständnis für die Verwendung einer Vielzahl von Werkzeugen aneignen, ohne dass für bestimmte Aufgaben eine spezielle Anleitung erforderlich ist.
Die Integration externer Softwaretools in Sprachmodelle wie Toolformer wird wahrscheinlich zu leistungsfähigeren und zuverlässigeren Assistenten führen. Es wirft jedoch auch Fragen zu Sicherheit und Datenschutz auf. Die Fähigkeit eines LLM, Benutzerdaten zu beschädigen oder Probleme in der Außenwelt zu verursachen, kann sich erweitern, wenn es in der Lage ist, API-Aufrufe durchzuführen. Zur Veranschaulichung kann ein LLM-basierter Assistent unbeabsichtigt einen API-Aufruf tätigen, der Benutzerdaten verletzt oder Systeme Dritter beschädigt.
Toolformer hat einen wesentlichen Fortschritt in der Verarbeitung natürlicher Sprache gemacht. Dies liegt an seiner Fähigkeit, andere Softwaretools wie Suchmaschinen, Taschenrechner und Sprachübersetzer zu nutzen, ohne seine grundlegenden Fähigkeiten in der Sprachmodellierung zu beeinträchtigen. Die Art und Weise, wie wir mit Sprachmodellen umgehen, kann sich durch diese Technologie ändern. Dadurch werden sie zu nützlicheren und vertrauenswürdigeren Helfern. Bei der Integration externer Software-Tools in LLMs sollten sich die Forscher jedoch der Sicherheits- und Datenschutzprobleme bewusst sein, die auftreten können.
