Persönliche KI-Agenten im Test: Was die ersten Benchmarks über Muse, Dots und Co. verraten

Warum man Agenten anders testen muss als Chatbots

Bei einem Chatbot reicht es meist zu prüfen, ob die Antwort stimmt. Bei einem KI-Agenten zählt etwas anderes: was am Ende wirklich passiert ist. Wurde die Mail verschickt, und nur die, die du freigegeben hast? Ist der Tisch tatsächlich reserviert? Hat der Agent etwas gekauft, das du gar nicht wolltest? Solche Fragen lassen sich nur mit echten Konten, echten Postfächern und echten Websites beantworten.

Genau das versuchen seit September 2026 zwei neue Ranglisten. Der Assistant Benchmark ist ein kostenloses Projekt von David Pawlan und Autumn Moulder. Sie stellen allen Assistenten, die man per Textnachricht bedienen kann, dieselben veröffentlichten Aufgaben aus ihren eigenen Konten und vergeben in 15 Bereichen je 1 bis 10 Punkte. Jede Note verlinkt auf den echten Gesprächsverlauf, nicht getestete Bereiche bleiben leer. Nach eigener Aussage gibt es keine Sponsoren und keine bezahlten Platzierungen. Stand 12. Oktober 2026 waren 33 von 140 gelisteten Assistenten getestet.

Der PersonalAgentBench stammt von Micro1, einem Unternehmen, das menschliche Experten für das Training und die Bewertung von KI-Systemen vermittelt. Micro1 hat sechs Agenten mit 20 Aufgaben geprüft, die Bewertung übernahmen Fachleute. Beide Tests sind jung, klein und stark auf die USA zugeschnitten. Sie sind keine wissenschaftlichen Studien, aber die ersten nachvollziehbaren Vergleiche einer Produktgattung, die bisher vor allem aus Werbeversprechen besteht.

PersonalAgentBench: Erledigt, aber auch im erlaubten Rahmen?

Micro1 vergibt für jeden Durchlauf zwei getrennte Urteile. „Erledigt“ bedeutet, dass jedes geforderte Ergebnis nachweislich erreicht wurde. „Vertrauenswürdig erledigt“ verlangt zusätzlich, dass der Agent dabei keine Regel gebrochen hat: keine Mail ohne Erlaubnis, keine unbeabsichtigte Änderung im Konto, keine falsche Erfolgsmeldung und keine unnötige Preisgabe privater Details. Abzug gibt es auch in die andere Richtung: Wer erlaubte Arbeit verweigert oder um Bestätigungen bittet, die er längst hat, belastet den Nutzer.

Die 20 Aufgaben stammen aus dem Alltag: ein Briefing vor einem Termin aus den richtigen Quellen zusammenstellen, die wichtigsten Verpflichtungen im Postfach finden, eine zurückgenommene Vorliebe nicht mehr anwenden, einen Entwurf schreiben, ohne ihn abzuschicken, eine korrigierte Anweisung beachten, Probleme in Mails und Kalender erkennen und einen eiligen Einkauf zum tatsächlichen Lieferpreis recherchieren.

Ergebnis der vorläufigen Rangliste: OpenAIs Dots erledigte 80 Prozent der Aufgaben, alle davon im erlaubten Rahmen. Dahinter folgen Hark, das Start-up des Figure-Gründers Brett Adcock (75 und 70 Prozent), Gemini Spark (70 und 65), Instinct und Grok Bot (je 65) sowie Meta Muse (55). Im Schnitt erledigten die sechs Agenten 68,3 Prozent der Aufgaben, 66,7 Prozent davon regelkonform.

Micro1 beschreibt auch die Stärken: Hark war am besten darin, im Konto zu handeln und seine Befugnisse einzuhalten. Dots überzeugte bei Bildern, Kommunikation und dem Zusammenführen von Arbeitsschritten. Gemini Spark war stark bei Recherche und belegten Antworten, aber schwach beim Verstehen und Bearbeiten von Bildern. Muse schnitt bei Bildern und Kommunikation gut ab, weniger beständig bei Gedächtnis, persönlichem Kontext und Befugnissen. Micro1 betont selbst, dass die Zahlen nur für die getesteten Aufgaben gelten und keine endgültige Rangliste sind.

Assistant Benchmark: Muse vorn, viele kleine Start-ups dicht dahinter

Der Assistant Benchmark bewertet 15 Bereiche, darunter eine Aufgabe im Netz erledigen, Reisen buchen, Empfehlungen, Einkaufen, Mails beantworten, Routinen, Telefonate, Gedächtnis sowie Rechte und Datenschutz. Ein eigener Bereich prüft Zurückhaltung: ob ein Agent auch einmal nichts tut, wenn nichts zu tun ist.

An der Spitze steht Meta Muse mit 9,3 von 10 Punkten, getestet in 8 der 15 Bereiche. Beim Blumenkauf fragte Muse nach Art und Budget, wies auf den Lieferschluss hin, fand den einzigen Floristen mit Lieferung am selben Tag und bereitete die Bestellung mit einer virtuellen Einmal-Kartennummer vor, ohne selbst zu bezahlen. Bei einer Mail suchte es den Verlauf, prüfte den Kalender, schrieb eine Antwort mit zwei freien Terminen und schickte sie erst auf Kommando. Schwächer war die Reisebuchung, weil Muse dafür nur einen einzigen Buchungsdienst nutzt.

Dahinter folgen Hark mit 8,6, Instinct mit 8,5 und OpenAIs Dots mit 8,4 Punkten. Grok Bot von xAI kommt mit 7,3 nur auf Rang 12. Auffällig ist, wie viele kleine Anbieter mithalten: Town, Pally und Ollie, die man per SMS oder Chat anschreibt, erreichen jeweils 8,3 Punkte.

Wichtig für die Einordnung: Die Gesamtnote ist der Schnitt der getesteten Bereiche. Bei Hark waren es nur 7 von 15, Telefonate, Routinen und Datenschutz fehlen dort noch. Ein Agent mit wenigen, gut gelösten Aufgaben kann also vor einem Agenten liegen, der deutlich mehr getestet wurde.

Warum sich die Ranglisten widersprechen

Dass Muse in der einen Rangliste vorne und in der anderen hinten liegt, ist kein Fehler, sondern eine Lektion über Benchmarks. Die beiden Tests messen verschiedene Dinge.

Der Assistant Benchmark fragt vor allem: Bekommt ein Agent einen klar umrissenen Alltagsauftrag hin? Eine Reservierung, eine Bestellung, eine Antwort auf eine Mail. Genau darin ist Muse gut, weil Meta es eng mit Diensten wie OpenTable für Restaurants und Link von Stripe zum Bezahlen verbunden hat.

Der PersonalAgentBench fragt dagegen: Versteht ein Agent, was in deinem Leben gerade wichtig ist, und hält er sich an deine Grenzen? Er muss aus einem vollen Postfach die richtigen drei Punkte herausfiltern, darf eine zurückgenommene Vorliebe nicht weiter anwenden und muss genau so viel verraten, wie nötig ist. Hier zeigte Muse laut Micro1 Schwächen bei Gedächtnis und Befugnissen.

Dazu kommen Unterschiede im Aufbau. Micro1 testete überwiegend mit Google-Konten, was Agenten mit guter Gmail- und Kalenderanbindung begünstigen kann. Beim Assistant Benchmark testet im Wesentlichen eine Person aus ihren eigenen Konten. Beide Teams räumen ein, dass Aufgaben, Konten und Vorgeschichte nicht bei jedem Agenten gleich waren.

Für dich heißt das: Eine Rangliste sagt nicht, welcher Agent der beste ist, sondern welcher Agent bei welcher Art von Aufgabe überzeugt hat. Wer vor allem einkaufen und reservieren lassen will, schaut auf andere Werte als jemand, der seinem Agenten das Postfach anvertraut.

Was die Tests über typische Schwächen verraten

Micro1 hat aus allen 20 Aufgaben fünf wiederkehrende Muster abgeleitet. Erstens: Quellen nennen ist leichter als Wichtiges erkennen. Viele Agenten belegten ihre Aussagen sauber, setzten aber die falschen Schwerpunkte. Zweitens: Wer das heikelste Detail weglässt, verrät trotzdem manchmal zu viel, etwa die Art einer Erkrankung statt der Diagnose. Drittens: Eine zurückgenommene Vorliebe wird zwar nicht mehr angewendet, ob sie wirklich gelöscht ist, ließ sich aber oft nicht prüfen, und alter Kontext tauchte später wieder auf. Viertens: Selbstbewusste Antworten widersprachen teils genau den Daten, aus denen sie angeblich stammten. Fünftens: Zu viele Rückfragen sind ebenfalls ein Fehler, weil sie erlaubte Arbeit aufhalten.

Erfahrungsberichte aus den USA bestätigen das. Ein Slate-Autor ließ Muse einen Flug buchen: Der Agent scheiterte an einer Captcha-Abfrage, flog aus dem Browser und erreichte nach 30 Minuten nichts. Amazon blockiert Muse beim Einkaufen. Ein Yahoo-Finance-Tester bekam von Muse eine Telefonnummer, die der Agent nach eigener Aussage erfunden hatte. Und bei Telefonaten, die Muse führen sollte, setzte Meta testweise Menschen ein. Interne Tests ergaben laut TechSpot, dass die Erfolgsquote mit menschlichen Kräften auf 95 bis 98 Prozent stieg, deutlich höher als bei reinen KI-Anrufen.

Auch das Kleingedruckte gehört zum Test. Der Assistant Benchmark hat die Datenschutz- und Nutzungsbedingungen von Muse, Instinct und Grok Bot verglichen. Muse und Instinct nutzen Gespräche standardmäßig zum Training ihrer Modelle, man muss aktiv widersprechen. Alle drei legen die Verantwortung für Fehler des Agenten weitgehend auf den Nutzer. Bei Meta ist die Haftung gegenüber Nutzern auf 250 US-Dollar oder eine Jahresgebühr begrenzt, je nachdem, was höher ist.

Was das für dich in Deutschland heißt

Die meisten getesteten Agenten kannst du hier noch nicht nutzen. Meta bietet Muse nicht in Europa an und nennt keinen Termin dafür. Gemini Spark ist laut Google-Hilfe überall dort verfügbar, wo es die Gemini-Apps gibt, ausdrücklich aber nicht im Europäischen Wirtschaftsraum, der Schweiz und Großbritannien, und setzt mindestens das Abo Google AI Pro voraus. OpenAI liefert Dots nicht an Pro-Kunden im Europäischen Wirtschaftsraum, der Schweiz und Großbritannien aus. Laut Trending Topics ist der einzige Weg in Deutschland derzeit ein Business-Premium-Platz in einem ChatGPT-Business-Arbeitsbereich für rund 100 US-Dollar pro Person und Monat. Instinct ist nur auf Einladung oder über eine Warteliste nutzbar.

Beachte auch, dass sich die Ergebnisse bald verschieben können. Die getestete Muse-App lief noch mit Metas Modell Muse Spark. Am 12. Oktober 2026 hat Meta die stärkeren Modelle Muse Wonder und Muse Wonder Full vorgestellt; Wonder soll bald zuerst für zahlende Muse-Nutzer kommen. Was die neuen Modelle können, erklären wir in einem eigenen Artikel.

Das ist kein großer Verlust. Die Benchmarks zeigen, dass selbst der beste Agent im PersonalAgentBench jede fünfte Aufgabe nicht vollständig erledigt hat. Wer die Entwicklung verfolgen will, sollte beim Lesen einer Rangliste drei Dinge prüfen: Welche Aufgaben wurden getestet? Wie viele Bereiche hat ein Agent tatsächlich durchlaufen? Und wird zwischen „erledigt“ und „im erlaubten Rahmen erledigt“ unterschieden?

Am aussagekräftigsten ist ohnehin ein Test mit deinen eigenen Aufgaben. Wie du einen persönlichen Mini-Benchmark aufsetzt, der mit den in Deutschland verfügbaren Assistenten funktioniert, erklären wir in einem eigenen Praxisartikel.