Es ist erst wenige Wochen her, dass Google sein leistungsfähigstes leichtgewichtiges LLM, Gemma 2, veröffentlicht hat. Ich habe es auf verschiedenen Plattformen getestet und möchte nun fünf Möglichkeiten vorstellen, wie Sie Gemma 2 kostenlos ausprobieren können.
Bevor wir zur Liste kommen, hier eine kurze Beschreibung von Gemma 2 für diejenigen, die damit noch nicht vertraut sind.
Was ist Gemma 2?
Gemma 2 ist das neueste Sprachmodell mit offenen Gewichten, das von Google für Forscher und Entwickler weltweit veröffentlicht wurde. Es gibt zwei Varianten: mit 9 Milliarden und 27 Milliarden Parametern.
Das 9B-Modell wurde mit etwa 8 Billionen Token trainiert, während die 27B-Version mit ungefähr 13 Billionen Token aus Webdaten, Code und mathematischen Inhalten trainiert wurde.
Diese leichtgewichtigen Modelle sind darauf ausgelegt, effizient auf verschiedener Hardware zu laufen, einschließlich Nvidia-GPUs und Googles TPUs, was sie sowohl für Cloud- als auch für On-Device-Anwendungen geeignet macht.
Nun kommen wir zur Liste.
1. Vertex AI Studio
Google Vertex AI Studio ist ein leistungsstarkes Werkzeug zum Prototyping und Anpassen von generativen KI-Modellen innerhalb des Google Cloud-Ökosystems.
Es bietet Zugang zu Googles modernsten Modellen, multimodale Fähigkeiten und eine nahtlose Integration mit anderen Google Cloud-Diensten für End-to-End-Machine-Learning-Workflows.
Die Preisgestaltung für generative KI-Dienste in Vertex AI variiert je nach den spezifischen Basismodellen und APIs, die verwendet werden.
Neukunden erhalten bis zu 300 $ an kostenlosen Guthaben, um Vertex AI und andere Google Cloud-Produkte auszuprobieren.
2. Ollama
Ollama ist ein Open-Source-Projekt, das den Umgang mit großen Sprachmodellen (LLMs) vereinfachen soll. Es bietet eine benutzerfreundliche Plattform zum Ausführen, Anpassen und Verwalten verschiedener LLMs, einschließlich beliebter Modelle wie Llama 3, Phi 3, Mistral und Gemma 2.
Laden Sie Ollama hier herunter und führen Sie das Modell mit dem folgenden Befehl aus:
ollama run gemma2
3. HuggingChat
HuggingChat ist ein Open-Source-KI-Chatbot, der von Hugging Face entwickelt wurde, einer führenden Plattform für künstliche Intelligenz und Werkzeuge zur Verarbeitung natürlicher Sprache.
Sie können HuggingChat einfach aufrufen, indem Sie HuggingFace.co/chat besuchen. Wählen Sie dann das aktuelle Modell „google/gemma-2-27b-it“ aus.
Sie können die Websuche aktivieren, um die Antworten des Modells mit Informationen aus dem Internet zu ergänzen.
Allerdings kann HuggingChat während Zeiten hoher Auslastung Serverprobleme haben, was zu langsamen Ladezeiten oder vorübergehender Nichtverfügbarkeit führen kann.
Zusätzlich gibt es ein maximales Token-Limit von 1.512 für die Antworten des Bots, was manchmal zu unvollständigen Antworten führen kann. Ich würde stattdessen die Verwendung von Vertex Studio oder Ollama empfehlen.
4. Fireworks AI
Fireworks AI ist eine Plattform, die sich auf die Optimierung und Verwaltung von maschinellen Lernmodellen im großen Maßstab spezialisiert hat, mit besonderem Fokus auf generative KI für Produktinnovationen.
Sie hostet über 100 hochmoderne KI-Modelle, einschließlich großer Sprachmodelle (LLMs) und Bildgenerierungsmodelle wie Llama 3, Mixtral MoE 8x7B und 8x22B sowie Stable Diffusion 3.
Suchen Sie in der Liste der Modellkarten nach Gemma 2 und beginnen Sie, damit zu chatten.
Entwickler können auf die Modelle von Fireworks AI über APIs zugreifen, die mit der Schnittstelle von OpenAI kompatibel sind, was die Integration und das Experimentieren mit verschiedenen Modellen erleichtert.
Auf Fireworks AI kann auch über VS Code-Erweiterungen wie CodeGPT zugegriffen werden. Derzeit ist Gemma-2 in CodeGPT noch nicht verfügbar, aber ich werde einen Artikel schreiben, sobald es soweit ist.
5. Nvidia NIM
Nvidia NIM (NVIDIA Inference Microservices) ist eine Reihe einfach zu verwendender Mikrodienste, die entwickelt wurden, um den Einsatz von KI-Modellen, insbesondere von Basismodellen, in jeder Cloud- oder Rechenzentrumsinfrastruktur zu beschleunigen.
NVIDIA bietet einen Modellkatalog, in dem Sie verschiedene KI-Modelle, einschließlich generativer KI-Modelle, erkunden und ausprobieren können. Dieser Katalog ermöglicht es Ihnen, Modelle zu testen, bevor Sie sie in Ihren Anwendungen einsetzen.
Wenn Sie beispielsweise die Gemma-2-27B-Modellkarte testen möchten, gehen Sie zu diesem Link und beginnen Sie, das Modell kostenlos zu testen.
Unter dem Chatfeld können Sie verschiedene Parameter wie Temperatur, Token und Stop/Bad-Schlüsselwörter anpassen.
Die Nutzung ist völlig kostenlos; Sie müssen sich nicht einmal anmelden oder ein Konto erstellen.
Bonus: Zugriff über API
Derzeit ist der API-Zugriff zum Zeitpunkt der Erstellung dieses Artikels noch nicht verfügbar.
Es gibt noch keine offizielle Mitteilung von Google, aber laut einem Google Deepmind-Forscher wird der API-Zugriff bald verfügbar sein!
[Tweet von Google Deepmind-Forscher]
Das war’s. Ich hoffe, Sie finden diesen Artikel hilfreich. Wenn Sie andere Möglichkeiten oder Plattformen kennen, um Gemma 2 kostenlos auszuprobieren, lassen Sie es mich bitte in den Kommentaren wissen.
Abschließende Gedanken
Trotz Googles schlechter Bilanz bei der Veröffentlichung von Sprachmodellen ist Gemma 2 für seine Größe tatsächlich ein anständiges Modell.
Als ich das letzte Mal Gemma 1.1 ausprobierte, waren die Ergebnisse nicht gut. Es schnitt schlechter ab als Llama 2. Jetzt mit Gemma 2 9B habe ich nicht nur Ergebnisse erhalten, die mit Llama 3 8B vergleichbar sind, sondern manchmal sogar besser.
Wenn Sie an einem Projekt arbeiten, das leichtgewichtige Modelle erfordert, würde ich die Verwendung von Gemma 2 sehr empfehlen.
