Eine in den VAE gegründete Künstliche-Intelligenz-Firma hat bei einem öffentlichen Benchmark besser abgeschnitten als einige der größten Technologieunternehmen der Welt. Diese Bewertung wurde entwickelt, um zu prüfen, wie gut KI-Systeme Informationen aus Unternehmensdaten suchen, abrufen und verifizieren können.
Leistungen von AHOY Labs
Das in Dubai ansässige Unternehmen AHOY Labs berichtete, dass seine KI-Plattform beim EnterpriseRAG-Bench, einem Open-Source-Benchmark zur Bewertung der Genauigkeit und Präzision von Unternehmens-KI-Systemen, höhere Punktzahlen als die Produkte von OpenAI, Amazon, Microsoft, Google und NVIDIA erzielte. AHOY Labs landete unter 26 getesteten Systemen weltweit auf dem achten Platz.
Unternehmens-KI-Suchwerkzeuge gewinnen für Firmen zunehmend an Bedeutung, da sie große Mengen interner Informationen durchforsten, von E-Mails und Chats bis hin zu Dateien, Tickets und Meeting-Protokollen. Der Benchmark testet die Effektivität von KI-Modellen bei der Beantwortung von Fragen mithilfe eines simulierten Unternehmensarchivs mit 500.000 Datensätzen, einschließlich Fällen, in denen Informationen über mehrere Dokumente verstreut sind oder widersprüchliche Aufzeichnungen existieren, oder wenn keine Antwort verfügbar ist.
Benchmark-Ergebnisse im Detail
Laut veröffentlichten Benchmark-Ergebnissen erzielte AHOY Labs eine Gesamtpunktzahl von 74,95 und beantwortete 79,6 Prozent der Fragen korrekt. Zum Vergleich: OpenAI File Search erreichte nur eine Punktzahl von 61,03 und antwortete korrekt auf 69,8 Prozent der Fragen, während Microsofts Azure AI Search mit 48,42 und Googles Vertex AI Search mit 41,87 abschnitten.
Der größte Leistungsunterschied zeigte sich in der Präzision, einem Maß dafür, wie viele irrelevante Dokumente ein KI-System bei der Generierung einer Antwort zurückgibt. AHOY Labs lieferte im Durchschnitt 1,03 irrelevante Dokumente pro Antwort, während OpenAI File Search 15,7 zurückgab.
Innovative Ansätze für Unternehmen
„Wir haben AHOY gegründet, um zu beweisen, dass Souveränität und weltweit führende Leistung kein Gegensatz sein müssen“, sagte Jamil Shinawi, Gründer und Geschäftsführer von AHOY. „Die Überlegenheit gegenüber den größten Technologieunternehmen in Bezug auf Genauigkeit und Präzision zeigt, dass regionale Organisationen die volle Kontrolle über ihre Daten behalten können, ohne auf eine zweitklassige KI zurückgreifen zu müssen.“
Die Plattform des Unternehmens ist so konzipiert, dass sie vollständig auf der eigenen Infrastruktur der Kunden läuft und auch offline betrieben werden kann. Dies ermöglicht es Organisationen, die Kontrolle über sensitive Informationen zu behalten. AHOY berichtete, dass interne Tests zeigten, dass das System die gleichen Benchmark-Ergebnisse auch in vollständig offline betriebenen Umgebungen erzielt.
Die angebotenen Fähigkeiten sind insbesondere für Branchen wie den öffentlichen Dienst, die Verteidigung, das Gesundheitswesen und die Energieversorgung von Bedeutung, wo Anforderungen an die Datensouveränität häufig die Nutzung öffentlicher Cloud-Dienste einschränken. Dies macht die Plattform des Unternehmens zum höchstplatzierten souveränen KI-System im Benchmark-Leistungsranking.
Der EnterpriseRAG-Bench wurde von Onyx entwickelt und als Open-Source-Benchmark veröffentlicht, begleitet von einer Forschungsarbeit. Die Ergebnisse werden geprüft, bevor sie in die öffentliche Rangliste aufgenommen werden.