Alibaba hat am Donnerstag ein neues Modell für künstliche Intelligenz (KI) veröffentlicht, das als Qwen with Questions (QwQ) bekannt ist und als neuester Open-Source-Konkurrent zum OpenAI o1-Reasoning-Modell dient.

Das als Vorschau veröffentlichte QwQ-32B Large Language Model (LLM) soll GPT-o1-preview in mehreren mathematischen und logischen Denk-bezogenen Benchmarks übertreffen. Das neue KI-Modell kann auf Hugging Face heruntergeladen werden, ist jedoch nicht vollständig Open Source.

Was ist Qwen with Questions (QwQ)?

Wie andere Large Reasoning Models (LRMs) verwendet QwQ während der Inferenz zusätzliche Rechenzyklen, um seine Antworten zu überprüfen und seine Fehler zu korrigieren, wodurch es besser für Aufgaben geeignet ist, die logisches Denken und Planung erfordern, wie Mathematik und Codierung.

In einem Blogbeitrag erläuterte Alibaba sein neues, auf Denken ausgerichtetes LLM und hob seine Fähigkeiten und Einschränkungen hervor. QwQ-32B basiert, wie der Name schon sagt, auf 32 Milliarden Parametern und hat ein Kontextfenster von 32.000 Token. Das Modell hat sowohl die Vor- als auch die Nachtrainingsphase abgeschlossen. Das Modell befindet sich derzeit in der Vorschauphase, was bedeutet, dass wahrscheinlich eine leistungsstärkere Version folgen wird.

Was seine Architektur angeht, hat der chinesische Technologieriese bekannt gegeben, dass das KI-Modell auf Transformer-Technologie basiert. Für die Positionskodierung verwendet QwQ Rotary Position Embeddings (RoPE) zusammen mit den Funktionen Switched Gated Linear Unit (SwiGLU) und Root Mean Square Normalization (RMSNorm) sowie Attention Query-Key-Value Bias (Attention QKV).

Laut Alibabas Tests schlägt QwQ o1-preview bei den AIME- und MATH-Benchmarks, die mathematische Problemlösungsfähigkeiten bewerten. Es übertrifft auch o1-mini bei GPQA, einem Benchmark für wissenschaftliches Denken. QwQ ist o1 bei den LiveCodeBench-Codierungsbenchmarks unterlegen, übertrifft aber dennoch andere Spitzenmodelle wie GPT-4o und Claude 3.5 Sonnet.

QwQ wird nicht mit einem Begleitdokument geliefert, das die Daten oder den zum Trainieren des Modells verwendeten Prozess beschreibt, was es schwierig macht, die Ergebnisse des Modells zu reproduzieren. Da das Modell jedoch im Gegensatz zu OpenAI o1 offen ist, ist sein „Denkprozess“ nicht verborgen und kann verwendet werden, um zu verstehen, wie das Modell bei der Lösung von Problemen vorgeht.

Insbesondere hat Alibaba das KI-Modell über eine Hugging Face-Liste verfügbar gemacht und sowohl Einzelpersonen als auch Unternehmen können es für persönliche, akademische und kommerzielle Zwecke unter der Apache 2.0-Lizenz herunterladen.