RAG Conversation

RAG Conversation ermöglicht es Ihnen, Informationen aus Ihren Dokumenten anhand einer Abfrage zu suchen, dabei das Gesprächsprotokoll zu behalten und den historischen Kontext zu berücksichtigen, um stets relevante und kontextbezogene Antworten zu liefern. Der Service kombiniert semantische Suche mit der Generierung von natürlicher Sprache und liefert die Antworten innerhalb eines Dialogs zurück, der über die Sitzungs-ID wieder aufgenommen werden kann, wodurch Kontinuität und Konsistenz zwischen den Interaktionen gewährleistet werden. Alles sicher, ohne Risiko eines Lecks sensibler Daten.

Die RAG-as-a-Service-Technologie von Openapi ermöglicht es Unternehmen, auf ihre proprietären Daten zuzugreifen und zuverlässige, kontextbezogene Antworten zu erhalten. Der Service reduziert das Risiko von „Halluzinationen“, das bei großen Sprachmodellen (LLMs) üblich ist, und liefert konsistente, relevante Antworten auf der Grundlage des spezifischen Wissens der Organisation.

Mit RAG-as-a-Service ist die Integration der RAG-Funktionalitäten in Anwendungen einfach und skalierbar, ohne komplexe Datenverwaltungssysteme. Ihre Inhalte werden automatisch indexiert, wodurch das Modell in Echtzeit auf aktualisierte und relevante Daten zugreifen kann. So bietet Openapi die Kombination aus künstlicher Intelligenz und kontextbezogener Suche und liefert präzise Antworten, die ausschließlich auf Ihrem Unternehmenswissen basieren.

Auf Openapi stehen außerdem zwei weitere RAG-Dienste für die Dokumentensuche zur Verfügung: Search, das ein oder mehrere Textauszüge zurückgibt, und Conversation, das einzelne Antworten in natürlicher Sprache liefert, die nicht in einem Gespräch eingebettet sind. Alle drei sind weltweit gültig.

Um konsistente und relevante Ergebnisse mit RAG Conversation zu erzielen, sind drei Hauptschritte erforderlich:

Dank der Indexierung können die relevantesten Informationen schnell als Antwort auf eine Abfrage abgerufen werden. Jedes Mal, wenn das RAG geändert wird (Dokumente hochgeladen oder entfernt), ist es wichtig, die Indexierung erneut zu starten, um aktuelle und genaue Antworten zu gewährleisten.

Erstellen eines neuen RAG

Der erste Schritt besteht darin, ein leeres RAG über das Endpoint POST /rag zu erstellen, in das später die Dokumente eingefügt werden.

BEISPIEL ANFRAGE

In der Anfrage müssen Folgende angegeben werden:

{
  "name": "RAGTest",
  "options": {
    "ocr": false,
    "autoIndexingIntervalHours": 0
  },
  "callback": {
    "method": "POST",
    "field": "string",
    "url": "https://www.mysite.it/callback.php",
    "data": {}
  }
}

BEISPIEL ANTWORT

Die Antwort enthält Details zum RAG (z.B. ID und Name, Status, Optionen, Einstellungen wie OCR, Anzahl der Gesamt- und indexierten Dokumente, Erstellungs-, Aktualisierungs- und Indexierungsdaten).

{
  "data": {
    "id": "68947e1e0dab7e743108abfb",
    "name": "RAGTest",
    "state": "ready",
    "options": {
      "ocr": false,
      "autoIndexingIntervalHours": 0
    },
    "totalDocuments": 0,
    "totalIndexedDocuments": 0,
    "sizeMegaByte": 0,
    "createdAt": "2025-09-04T10:45:42.036Z",
    "updatedAt": "2025-09-04T10:45:42.036Z",
    "indexedAt": "2025-09-04T10:45:42.036Z",
    "indexingRunAt": "2025-09-04T10:45:42.036Z",
    "callback": {
      "method": "POST",
      "field": "string",
      "url": "https://www.mysite.it/callback.php",
      "data": {}
    }
  },
  "success": true,
  "message": "",
  "error": null
}

Jederzeit kann die Liste aller RAGs oder die Details eines einzelnen RAGs über die Endpoints GET /rag und GET /rag/{id} abgerufen werden.

Dokument hochladen

Sobald das RAG erstellt ist, können Sie ein Dokument über das Endpoint POST /rag/{id}/documents einfügen.

BEISPIEL ANFRAGE

In der Anfrage muss die ID des RAGs angegeben werden, in das das Dokument hochgeladen wird.

Im Payload müssen folgende Angaben gemacht werden:

{
  "fileName": "documentTest",
  "fileContent": "string",
  "metadata": {
    "custom_key_str": "string",
    "custom_key_date": "2025-09-04T10:51:06.259Z",
    "custom_key_int": 0,
    "custom_key_geo_latitude": 0,
    "custom_key_geo_longitude": 0,
    "custom_key_bool": true
  }
}

BEISPIEL ANTWORT

Die Antwort enthält Details zum Dokument, darunter ID, Name, Status, Metadaten, Größe, Dateityp sowie Erstellungs- und Aktualisierungsdatum.

{
  "data": [
    {
      "id": "string",
      "name": "string",
      "state": "string",
      "metadata": {
        "custom_key_str": "string",
        "custom_key_date": "2025-09-04T10:51:06.260Z",
        "custom_key_int": 0,
        "custom_key_geo_latitude": 0,
        "custom_key_geo_longitude": 0,
        "custom_key_bool": true
      },
      "sizeMegaByte": 0,
      "mimeType": "string",
      "createdAt": "2025-09-04T10:51:06.260Z",
      "updatedAt": "2025-09-04T10:51:06.260Z",
      "paymentDueDate": "2025-09-04T10:51:06.260Z"
    }
  ],
  "success": true,
  "message": "",
  "error": null
}

Die Liste der Dokumente innerhalb eines RAG kann jederzeit über das Endpoint GET /rag/{id}/documents abgerufen werden.

Indexierungsprozess starten

Wie oben angegeben, ist es entscheidend, die Indexierung zu starten, wenn ein RAG geändert wird (Dokument hochgeladen oder gelöscht), um kontextbezogene und genaue Antworten zu erhalten. Wird dieser Schritt nicht ausgeführt, basiert das System weiterhin nur auf den vorherigen Daten und nicht auf den aktualisierten.

Die Indexierung kann manuell über PATCH/rag/{id} gestartet werden. Alternativ kann eine automatische Indexierung eingerichtet werden, die alle X Stunden (vom Benutzer festgelegt) startet. Diese wird beim Erstellen des RAG über das Endpoint POST /rag eingestellt. Für die Indexierung, ob automatisch oder manuell, fallen keine zusätzlichen Kosten an.

BEISPIEL ANFRAGE

Die Anfrage muss die ID des RAGs enthalten, für das der manuelle Indexierungsprozess gestartet wird.

Im Payload muss der Parameter startIndexing auf true gesetzt werden, um die Indexierung zu starten:

"startIndexing": true

BEISPIEL ANTWORT

Die Antwort liefert Details zum RAG-Namen, Status (z.B. ready, indexing), Einstellungen (OCR ja/nein, automatische Indexierung ja/nein), Anzahl der vorhandenen und indexierten Dokumente, aktuelle RAG-Größe in MB, Erstellungs- und Aktualisierungsdaten.

{
  "data": {
    "id": "68947e1e0dab7e743108abfb",
    "name": "RAGTest",
    "state": "indexing",
    "options": {
      "ocr": false,
      "autoIndexingIntervalHours": 0
    },
    "totalDocuments": 0,
    "totalIndexedDocuments": 0,
    "sizeMegaByte": 0,
    "createdAt": "2025-09-04T10:55:37.306Z",
    "updatedAt": "2025-09-04T10:55:37.306Z",
    "callback": {
      "method": "POST",
      "field": "string",
      "url": "https://www.mysite.it/callback.php",
      "data": {}
    }
  },
  "success": true,
  "message": "",
  "error": null
}

RAG CONVERSATION

Nachdem die drei oben genannten Schritte durchgeführt wurden, kann die eigentliche Suche über das Endpoint POST /rag/conversation erfolgen.

Wie eingangs beschrieben, ermöglicht RAG Conversation – über die API in Echtzeit – das Auffinden des relevantesten Dokuments oder der wichtigsten Informationen in Ihren Dateien, ausgehend von einer Abfrage und unter Berücksichtigung vorheriger Gespräche. Alles erfolgt sicher, ohne Risiko eines Lecks sensibler Daten.

BEISPIEL ANFRAGE

Die Anfrage muss Folgendes enthalten:

{
  "ragId": "688b2ab3bccc6a603202f87c",
  "query": "Welche Dienste gibt es?",
  "max_len": 5,
  "metadata_filter": "(custom_key_int<175 AND custom_key_bool = \"true\") OR (custom_key_int<125 AND custom_key_bool = \"false\")",
  "settings": {
    "prompt_style": "basic"
  },
  "session": "string"
}

BEISPIEL ANTWORT

RAG Conversation liefert Informationen zu den für Ihre Suche relevantesten Dokumenten, einschließlich Textausschnitten, die Ihnen helfen, die gesuchten Daten schnell zu finden.

Das Antwort-Payload enthält im Detail:

{
  "data": [
    {
      "answer": "string",
      "search_result": [
        {
          "index": 0,
          "snippets": [
            "string"
          ],
          "id": "689c70313f292734010a7dda",
          "ragId": "689c6ed7b283ac0aa40c1555",
          "name": "documentTest",
          "state": "indexing",
          "metadata": {
            "custom_key_str": "string",
            "custom_key_date": "2025-09-25T10:34:00.005Z",
            "custom_key_int": 0,
            "custom_key_geo_latitude": 0,
            "custom_key_geo_longitude": 0,
            "custom_key_bool": true
          }
        }
      ],
      "session": "projects/702697495064/locations/global/collections/default_collection/RAG/689c6ed7b283ac0aa40c1555/sessions/14709352892326605"
    }
  ],
  "success": true,
  "message": "",
  "error": null
}

Mit RAG Conversation können Sie fortlaufende Gespräche mit dem System führen und Ihre Dokumente schnell abfragen, mit der Sicherheit, dass die Antworten so genau wie möglich sind und ausschließlich auf tatsächlich hochgeladenen und indexierten Daten basieren. Alle Informationen bleiben somit vollständig geschützt.

Der Service ist besonders nützlich für Unternehmen, die große Mengen an Dokumenten verwalten (Verträge, Berichte, Handbücher), z.B.:

Generell ist RAG Conversation ideal für jede Organisation oder jeden Fachmann, der schnellen Zugang zu präzisen Informationen innerhalb seiner Dokumente benötigt und dabei Zeit und Zuverlässigkeit bei der Recherche optimieren möchte.