Künstliche Intelligenz auf dem eigenen Laptop? LLaMA macht das Texten gut

Das Besondere: Nun kann auch ein Laie eine eigene KI auf dem heimischen Rechner installieren. Und er darf sie sogar kommerziell nutzen. Die Maschine lädt anschließend ein mehrere Gigabyte großes Trainingspaket aus dem Netz. Sie nimmt danach jedoch keinen Kontakt mehr zu fremden Servern auf. Das ist für viele ein wichtiges Kriterium gegen die Nutzung des Marktführers Chat-GPT.

Erste Vergleichstests zeigen, dass Llama 2 mit ChatGPT mindestens mithalten kann.

Die Software ist quelloffen

Die zugrunde liegende Software ist quelloffen, das heißt: Fachleute aus aller Welt können im Code stöbern und ihn weiterentwickeln. Sollte etwas Unlauteres im Hintergrund passieren, würde es vermutlich schnell entdeckt.

Bisher gab es solche Modelle zwar auch schon zum persönlichen Download; sie waren jedoch meist nur zu Forschungszwecken nutzbar, nicht für den kommerziellen Gebrauch. Und für die Installation muss man sich ein wenig mit dem Dienst Github auskennen und Befehlen auf der Kommandozeile. Das ist bei Llama 2 zumindest für den Mac nun anders.

Einen Haken hat die Software: Verboten ist ihr Einsatz von Unternehmen, die monatlich mehr als 700 Millionen Nutzerinnen und Nutzern in bisherigen Produkten zählen – den Konkurrenten von Meta ist der Einsatz also untersagt.

Einfache Installation zumindest auf dem Mac

Die Software kann man sich für den Mac als leicht installierbares Paket herunterladen. Zuvor muss man sich bei Meta dafür registrieren. Anschließend gibt man auf der Kommandozeile (dem Programm „Terminal“ auf dem Mac) den Befehl

ollama run llama2 

ein. Einen Download von 3,8 Gigabyte Trainingsdaten später ist das kleinste von drei Sprachmodellen geladen, und man kann mit der Maschine kommunizieren. Trainiert ist es vorwiegend auf Englisch.

Für Windows-Nutzer gestaltet sich die Installation etwas komplizierter: Die Software befindet sich in einem sogenannten Repository beim Dienst GitHub. Ein fertiges Windows-Paket war bisher nicht verfügbar. Eine Anleitung für Windows-Nutzer gibt es im YouTube-Video von 1littlecoder.

LlaMA 2 im Video

Und wie schlägt sich Metas Sprachmodell? Das hier gezeigte Video vermittelt einen ungefähren Eindruck. Es versteht zwar Fragen auf Deutsch, antwortet aber auf Englisch. Die eigentlich längeren Wartezeiten bis zur Antwort habe ich herausgeschnitten.

Llama 2 ist dahingehend trainiert, nicht gegen ethische oder gesetzliche Regeln zu verstoßen. Und tatsächlich verweist der digitale Geselle bei der Frage nach dem Hamburger-Rezept von McDonald's auf geheimhaltungsbedürftige Unternehmensinformationen. Bei der Frage nach der zehnten Stelle hinterm Komma bei der Zahl Pi behauptet die Maschine, das nicht errechnen zu können.

Gut, das ist immer noch besser als ChatGPT-4 in der aktuellen Version vom 20. Juli 2023 und auch in der Version 3.5: Diese KI benennt fälschlich die 9 als zehnte Ziffer hinter dem Komma.

(Es ist nach allen mir vorliegenden Taschenrechnern, Siri, Wikipedia, Google Bard und der gewiss vertrauenswürdigsten Webseite aller Zeiten zu dieser Frage die 5.)

Ironisch gesprochen: Wer sollte von einer Rechenmaschine auch erwarten, richtig rechnen zu können.

Interessant für Abfrage eigenen Firmenwissens

Wesentlich interessanter wird die eigene KI jedoch, wenn man sie mit eigenen Unternehmensdaten bekannt machen möchte, das möglichst nicht die Firma verlässt.  Anleitungen dafür auf Basis von Llama 2 machen die Runde. „Wenn Siemens wüsste, was Siemens weiß“, lautet schließlich ein geflügeltes Wort über das Unternehmenswissen, das bisher schwer durchsuchbar ist.

Meta ist für Llama 2 einen Pakt mit Microsoft eingegangen: Das neue Modell steht in Microsofts Dienst Azure zur Verfügung – und so schließt sich der Kreis. Azure ist für viele Unternehmen die bevorzugte Cloud. Damit hat Microsoft nicht mehr nur bei ChatGPT als Geldgeber die Finger im Spiel, sondern auch bei Llama 2. Und in Windows soll das Sprachmodell auch eingebaut werden. Entwicklerinnen und Entwickler können damit künftig eigene KI-Anwendungen für Windows-Software erstellen.

Weitere Themen

• Meine besten Prompts für den Hausgebrauch
• Irren ist nicht nur menschlich
• So lässt sich jeder geschriebene Text zu einem lippensynchronen Video mit eigener Stimme vertonen
• Alphabetische Feinheiten: Das diskrete „Ohne-dass-man-es-merkt“ offensichtlicher Formulierungen

*Prompt: Envision an advanced AI system encapsulated within a sleek, modern laptop. The laptop is open, revealing a vibrant, high-resolution screen that displays complex algorithms and futuristic graphics, indicative of the AI's processing. The style should be hyper-realistic, with meticulous attention to detail, especially on the laptop's surface, reflecting the surrounding environment subtly. The lighting should be soft and ambient, casting a gentle glow on the laptop and its surroundings. The color palette should be cool and metallic, with a focus on silvers, blues, and whites. The composition should be a close-up shot, using a 50mm lens to capture the laptop and its immediate surroundings in sharp focus. Use the parameters: --ar 16:9 --v 5.2 --style raw --q 2 --s 750