Die Welt der KI-Sprachmodelle entwickelt sich schnell. In den letzten Monaten sind zahlreiche neue Modelle auf den Markt gekommen, die beeindruckende Fähigkeiten haben.

Viele kennen ChatGPT von OpenAI, das bereits in einigen Microsoft Produkten, wie etwa der Bing-Suche, integriert wurde.

In diesem Artikel liegt der Fokus auf dem KI-Chatbot „Gemini“ von Google. Wie funktioniert dieser und was unterscheidet ihn von anderen KI-Chatbots, speziell von ChatGPT? Wir testen Gemini in verschiedenen Anwendungsfällen und schauen uns die Ergebnisse an. Anschließend vergleichen wir einige der Prompts und Ergebnisse zwischen ChatGPT und Gemini.

Was sind KI-Chatbots?

Gemini: Googles Antwort auf die KI-Revolution

Wir starten mit einer Zeitreise, die zeigt, wie viel Bewegung und Geschwindigkeit aktuell in der Entwicklung von KI steckt. Innerhalb von einem Jahr ist bei Google viel passiert:

Februar 2023 Google veröffentlich Bard

Mai 2023 PaLM 2 wird in Bard integriert; Bard ist jetzt in 40 Sprachen und 230 Ländern verfügbar; zudem ist Bard nun in Google-Produkten wie Gmail, Google Maps, Youtube und anderen enthalten

Dezember 2023 Gemini wird eingeführt; Bard basiert jetzt auf dem Gemini Pro Modell

Februar 2024 Bard wird zu Gemini umbenannt; Gemini Advanced mit Ultra 1.0 ist jetzt als kostenpflichte Version verfügbar und läuft unter dem Gemini Ultra Modell.

April 2024 Die Testphase für Gemini Ultra 1.5 wird gestartet

Gemini im Detail

Gemini, ursprünglich unter dem Namen Bard bekannt, ist ein Large Language Model (LLM) und wurde von DeepMind entwickelt. Es basiert auf einer Familie von Sprachmodellen, die speziell dafür konzipiert wurden, sowohl Texte zu verstehen und zu generieren, als auch Bilder zu verarbeiten. Das Modell hat 13 Milliarden Parameter und wurde mithilfe von Webseiten und Büchern trainiert.
Gemini markiert einen signifikanten Fortschritt in Googles KI-Bestrebungen, indem es auf den Erfolgen und Lektionen aus früheren Projekten wie PaLM und LaMDA aufbaut. Gemini zielt darauf ab, nicht nur in der Textverarbeitung, sondern auch in der Bildanalyse neue Maßstäbe zu setzen, was ihm eine besondere Stellung im Vergleich zu anderen Modellen verleiht.

Google selbst sagt, Gemini sei Googles „größtes und leistungsfähigste AI-Sprachmodell“. Zudem soll es das flexibelste AI-Sprachmodell sein, da es sowohl in Rechenzentren als auch auf mobilen Endgeräten eingesetzt werden kann. Dabei wird in drei Versionen unterschieden:

• Gemini Ultra: das leistungsfähigste Modell für hochkomplexe Aufgaben und multimodale Aufgaben. Es ist optimiert für eine effiziente Bereitstellung auf Googles Tensor Processing Units (TPUs) und bietet Spitzenleistungen in einer Vielzahl von Benchmarks.
• Gemini Pro: Ein leistungs- und kostenoptimiertes Modell, das signifikante Leistung über ein breites Spektrum von Aufgaben hinweg bietet, einschließlich starker Denkleistung und breiter multimodaler Fähigkeiten.
• Gemini Nano: Das effizienteste Modell, entworfen für den Einsatz auf Geräten. Es gibt zwei Versionen von Nano, mit 1,8 Milliarden (Nano-1) und 3,25 Milliarden (Nano-2) Parametern, die auf Geräte mit niedrigem und hohem Speicher abzielen. Diese Modelle sind durch Destillation von größeren Gemini-Modellen trainiert und für den Einsatz optimiert.

Was sagen die Expert:innen?

Laut der Webseite huggingface.co, einem Chatbot Arena Leaderboard mit über 500.000 gesammelten Meinungen, schneidet Gemini Pro / Advanced als viertbester AI-Chatbot ab. Davor liegen auf Position eins Claude 3 Opus und Chat GPT 4 mit unterschiedlichen Versionen jeweils auf Rang zwei und drei.

Was kann Gemini genau?

Die Veröffentlichungen von Google stellen vor allem das Coding in den Vordergrund. Aber auch Fragen zu komplexen mathematischen und physikalischen Aufgaben sowie die Bilderstellung sollen möglich sein.

Erste einfache Tests waren ernüchternd

Um einen ersten Überblick für diesen Artikel zu bekommen, haben wir Gemini gefragt: „Wer bist du?“. Die Antwort fiel nicht wie erwartet aus:

Einen vertrauenswürdigen Start schaffte das nicht unbedingt, aber die Technik dahinter scheint die von Gemini bzw. dem Gemini Ultra Modell zu sein. Denn bei den Coding Prompts gab es keinerlei Probleme und der Chatbot hat ohne Fehler gearbeitet:

Zugegeben: Wir haben nur leichte Codes erstellen lassen, um diese möglichst unkompliziert auf Richtigkeit überprüfen zu können.

Programmierkenntnisse:

Hier haben wir vor allem für uns SEOs relevante Programmiersprachen wie HTML, CSS und JavaScript getestet.  

Ein HTML-Grundgerüst zu erstellen, war für Gemini kein Problem. Nachträglich H-Überschriften und Paragrafen einzufügen, war ebenfalls ein Kinderspiel für Gemini. Im Anschluss wurde eine CSS-Datei mit einfachen Befehlen erstellt und ins HTML-Grundgerüst eingefügt. Auch das konnte Gemini problemlos umsetzen. Zum Schluss haben wir noch eine kleine JavaScript Funktion erstellen lassen, die ein Click-Event enthält. Anschließend sollte auch diese von Gemini ins HTML-Grundgerüst eingefügt werden.

Der finale HTML-Code sah dann wie folgt aus:

Prompt:

Erstelle mir ein HTML-Grundgerüst.

Füge in den <head> Bereich jeweils einen Link zur CSS-Datei style.css ein. Füge zudem drei Links zu den JavaScript-Dateien main.js, secondary.js und tasks.js ein.
Erstelle im <body> Bereich dann ein Div mit der Klasse „text-pic“. In dem Div sollte jeweils ein Abschnitt mit einer H2-Überschrift und einem Paragrafen enthalten sein. Nach den Paragrafen folgt jeweils ein Bild.

Die dazugehörige CSS–Datei:

Prompt:

Erstelle nun eine CSS-Datei. Diese Datei soll für das Grundgerüst sein. Die Funktionen sollen sein, dass die H2-Überschriften eine Textgröße von 20 Pixeln haben und in grüner Schrift dargestellt werden. Die Paragrafen sollen eine Schriftgröße von 14 Pixeln haben und in der Schriftart Arial Black dargestellt werden.

Und hier der JavaScript-Code:

Prompt:

Kannst du mir nun noch eine JavaScript Funktion für die main.js erstellen? Ziel der Datei ist es, die H2 klickbar zu machen. Bei einem Klick soll die Farbe von grün zu rot wechseln.

Produktsuche / Vergleich:

Bei einem weiteren Test wurde getestet, wie sich Gemini bei Produktvergleichen bzw. Produktsuchen verhält.

Folgenden Prompt haben wir Gemini gestellt:

Ich bin auf der Suche nach einem neuen Monitor. Ich möchte eine Auflösung, die mind. 120 Hertz beträgt und eine Auflösung mit mind. 2K.
Ich möchte den Bildschirm zum Arbeiten, Excel, Browser, PowerPoint etc. verwenden und für Video- und Bildbearbeitung.
Nenne mir fünf Top Modelle bis max. 500€ und Links zu jeweiligen Onlineshops.

Das Ergebnis waren dann auch 5 Bildschirme mit einer Auflistung der Produktdetails als Bulletpoints mit Bild und Link zum Onlineshop. Hier wurde bei vier von fünf Bildschirmen auf die Herstellerwebseite verlinkt. Lediglich beim Samsung Modell wurde auf ebay.com verlinkt.

Die Ergebnisse sahen in Gemini wie folgt aus:

Von den fünf Modellen, die Gemini wählte, war eins dabei, das die Hertz-Angabe nicht erreicht hatte. Gemini hat das Modell also falsch ausgewählt, die Hertz-Angabe (60 HZ) wurde aber im Output richtig genannt.

Bei einem anderen Modell wurde eine komplett falsche Angabe gemacht. Hier wurde eine 2K-Auflösung von Gemini angegeben, auf der Webseite war es aber nur eine Full-HD-Auflösung. Bei den restlichen drei Produkten war alles korrekt.

Links werden nicht immer mit angegeben

Bei einem weiteren Test hatten wir zwei Kameras vergleichen lassen. Auch hier war vieles richtig, aber auch einige falsche Angaben waren mit dabei. Zum Schluss haben wir nach Shops gefragt, um die entsprechenden Kameras zu kaufen.

Der Prompt lautete:

Wo kann ich die Sony A7C kaufen?

Das Ergebnis sah wie folgt aus:

Was beim Testen immer wieder aufgefallen ist: Gemini gibt zwar Links an, diese werden aber oft als [ungültige URL entfernt] angezeigt, sowohl bei transaktionalen als auch bei informationellen Interaktionen.

Kleine SEO-Tests im Vergleich zwischen Gemini und ChatGPT

Bevor wir den Vergleichstest starten, hier ein paar übersichtliche Daten und Fakten zu den jeweiligen Programmen:

Gemini kann viermal mehr Tokens verarbeiten als ChatGPT und ist, durch den Zugriff aufs Internet, auch aktueller. Zudem wurden in unseren Tests die Antworten schneller erstellt als bei ChatGPT. ChatGPT machte hingegen den vertrauensvolleren Eindruck. Die Antworten wirkten professioneller. Bei Gemini waren teilweise Antworten auf einfache Fragen(„Wer bist du?“) falsch. Die nicht verfügbaren Links wirkten ebenfalls nicht vertrauenswürdig.

Um Vergleichstests durchzuführen, haben wir kleine Prompts mit SEO-Bezug bei beiden Chatbots generieren lassen.

1. Prompt:

Nenne relevante Fachbegriffe zum Thema Suchmaschinenoptimierung.

Antwort ChatGPT:

Antwort Gemini:

1:0 für Gemini.

Gemini war nicht nur schneller, sondern hat auch mehr Begriffe verwendet und diese nochmal in verschiedenen Kategorien unterteilt. Die technischen Begriffe wie Crawling oder Indexierung spielten bei ChatGPT keine Rolle.

2. Prompt: Schreibe eine Ein-Absatz-Zusammenfassung zum Thema künstliche Intelligenz und ihre Gefahren.

Antwort ChatGPT:

Antwort Gemini:

2:1 für Gemini

Beide Antworten waren inhaltlich ähnlich und hatten die gleichen Probleme genannt. Kleiner Vorteil bei Gemini war die Aufbereitung, da hier Bullet Points verwendet wurden, was den Text einfacher zu lesen machte.  

3. Prompt:

Was sind die besten deutschprachigen SEO-Konferenzen, die ich besuchen sollte?

Antwort ChatGPT:

Antwort Gemini:

2:2

Dieser Punkt geht klar an ChatGPT. Zwar haben beide fast die identischen Konferenzen genannt. Gemini wählte als Datum das Jahr 2023 und ChatGPT 2024. Desweiteren gab Gemini hier eindeutige falsche Antworten. So wurde der SEO-Day unter der Kategorie „Konferenzen mit breitem Themenspektrum“ aufgelistet und als Veranstaltungsort wurde Berlin angegeben. Die SEOkomm findet laut Gemini hingegen in Köln statt und die re:publica wurde unter der Rubrik „Konferenz mit Fokus auf SEO“ aufgelistet.

ChatGPT hingegen hatte alle Daten richtig angegeben und auch Links  zu den Quellen mit angegeben.

Fazit Testergebnisse:

Beim Vergleich gab es keinen wirklichen Gewinner oder Verlierer. Beide Modelle haben ihre Stärken und Schwächen. Dies bestätigt auch meinen Eindruck, den ich beim Testen und täglichen Gebrauch der beiden Tools habe. Nach wie vor ist es wichtig, die Antworten der Chatbots zu hinterfragen und ihnen nicht zu blind zu vertrauen.

Gesamt-Fazit

Der Vergleich zwischen den beiden KI-Sprachmodellen Gemini und ChatGPT zeigt, dass beide Modelle ihre spezifischen Stärken und Schwächen besitzen, was eine Beurteilung, welches der beiden Modelle „besser“ ist, schwierig macht. Gemini, das auf Googles umfangreiche Ressourcen und technologische Innovationen zurückgreift, bietet beachtliche Fähigkeiten in der Text- und Bildverarbeitung sowie bei der Bearbeitung von komplexen Programmieraufgaben. Es scheint besonders in Szenarien, die eine hohe Rechenleistung und spezifische Anpassungen erfordern, effizient zu sein. Die Fähigkeit, eine größere Anzahl von Tokens zu verarbeiten und der Zugriff auf das Internet für aktuelle Informationen sind weitere Vorteile von Gemini.

Auf der anderen Seite hat ChatGPT, obwohl es auf älteren Daten basiert und nicht direkt mit dem Internet verbunden ist, in Tests einen zuverlässigeren und vertrauenswürdigeren Eindruck hinterlassen. Die Antworten von ChatGPT waren oft korrekter und professioneller, was insbesondere bei grundlegenden Fragen und inhaltlichen Antworten von Bedeutung ist.

Die Testergebnisse zeigen, dass keines der Modelle in allen Bereichen überlegen ist. Vielmehr sollte die Wahl des geeigneten Modells basierend auf dem spezifischen Anwendungsfall und den Anforderungen an die Genauigkeit, Aktualität und Komplexität der Aufgabenstellung getroffen werden. Für alltägliche Anfragen und verlässliche Informationen scheint ChatGPT oft besser zu sein, während Gemini bei anspruchsvolleren technischen und multimodalen Aufgaben punkten kann.

Abschließend ist zu sagen, dass beide Modelle beeindruckende Beispiele für den Fortschritt in der KI-Technologie darstellen. Die Entscheidung, welches Modell zu bevorzugen ist, hängt von den spezifischen Bedürfnissen und Präferenzen der Nutzenden ab. Bei beiden getesteten Chatbots bleibt es wichtig, ihre Antworten kritisch zu betrachten und ihnen nicht blind zu vertrauen.