Unternehmens-KI: Von Large Language Models bis zu Neo4j

Was ist RAG (Retrieval-Augmented Generation)?

Unter diesem Begriff versteht man das Softwaresystem, das Information Retrieval mit Large Language Model kombiniert. Damit lassen sich die Dokumente abrufen und Texte durch LLMs generieren. Die generierten Texte sind genau, den die ans System gestellten Abfragen greifen auf Informationen aus verschiedenen Datenquellen und Datenbanken zu. So haben die Chatbots einen Zugang zu internen Unternehmensdaten und stellen die Sachinformationen bereit.

Die RAG-Systeme sehen die Kombination von Dokumentensuche und Antwortgenerierung durch LLMs vor. Moderne LLMs können auch unterschiedliche Aufgabenstellungen lösen. Large Language Modell wird mit Hilfe von RAG ohne Finetuning fürs Chatten mit eigenen Daten benutzt. Retrieval Augmented Generation kann mit allen LLMs kombiniert werden (programmatisch oder über API). Für Darstellung der Suchergebnisse als Textabschnitte werden für RAG verschiedene Datenbanken und Suche verwendet. Für Nutzung von Wissensgraphen und SQL-Datenbanken erzeugt ein LLM die Datenbankabfrage in einer erforderlichen Abfragesprache (SQL, SPARQL, Cypher). Mithilfe der Open-Source-Bibliotheken (LlamaIndex und LangChain) lassen sich die Datenbanken mit LLM sowie die Vektordatenbank mit Embedding-Modell und dem Dokumenten-Importer verbinden. Die Letzten implementieren die Standardschnittstellen für große Sprachmodellen und verwandte Technologien, können mit vielen Anbietern integriert werden.

Die RAG-Technologie zeichnet sich durch mehrere Vorteile aus:

1. Die Qualität der generierten Antworten ist hoch. Sie sind aktuell und kontextgenau.
2. Die Einführung neuer Daten ins LLM ist kostengünstig.
3. Das Benutzervertrauen verbessert sich, weil die Informationen mit realen Quellangaben präsentiert werden.
4. RAG verbessert die Kontrolle von KI-Anwendungen für Entwickler. Sie können die Informationsquelle von LLM überwachen und ändern, um diese an die sich ändernden Anforderungen anzupassen.
5. Die Modellparameter werden nicht angepasst, darum lässt sich das Modell über viele Anwendungsfälle verschieben.

Neben den Vorteilen gibt es auch Nachteile:

1. RAG weist auf einen hohen Rechenaufwand und Schwierigkeiten bei der Validierung von Antworten hin.
2. Die Textgenerierung dauert wegen der mehrstufigen Verarbeitung der Informationen länger.
3. Die RAG-Systeme sind nur dann effektiv, wenn die Daten aktuell und passend sind.
4. Bei der Aktualisierung einer Wissensdatenbank sollten die Entwickler die Einleitung der Umwandlungsprozesse von neuen Daten in Vektoren initiieren und die Vektordatenbank aktualisieren.
5. Bei der Gegenüberstellung RAG vs Finetuning ist das Erste leichtgewichtig. Das LLM wird in der Ursprungsform verwendet. Da es die natürliche Sprache verarbeiten kann, werden Kosten und die Zeit gespart. Es lässt sich problemlos auf dem neusten Wissensstand halten.