Даже какие-никакие детали про модель опубликовали:
Даже какие-никакие детали про модель опубликовали: тут.
> After announcing xAI, we trained a prototype LLM (Grok-0) with 33 billion parameters. This early model approaches LLaMA 2 (70B) capabilities on standard LM benchmarks but uses only half of its training resources. In the last two months, we have made significant improvements in reasoning and coding capabilities leading up to Grok-1, a state-of-the-art language model that is significantly more powerful
Не смог из этого понять, какого размера Grok-1, тоже 33B или больше.
По метрикам обходит LLAMA-2-70B и ChatGPT-3.5. От 4ки отставание достаточно сильное.
Интересно, что обучение происходило на JAX, а Rust был выбран как язык для напиания инфраструктурных финтефлюшек.
Говорят, что делают фокус на эффективность использования GPU, и это же написано на странице с вакансиями.
Дальнейшие направления фокуса:
— Multimodal capabilities
— Scalable oversight with tool assistance
— Integrating with formal verification for safety, reliability, and grounding
— Long-context understanding and retrieval
— Adversarial robustness (easily exploitable vulnerabilities)
Записаться в waitlist: тут.
UPD: интересно, что буквально с нуля за 4-5 месяцев команда вышла на такой уровень, сделала 2 итерации обучения, и в итоге обогнала Facebook, которые LLMки тренят с 2021го как минимум.
> After announcing xAI, we trained a prototype LLM (Grok-0) with 33 billion parameters. This early model approaches LLaMA 2 (70B) capabilities on standard LM benchmarks but uses only half of its training resources. In the last two months, we have made significant improvements in reasoning and coding capabilities leading up to Grok-1, a state-of-the-art language model that is significantly more powerful
Не смог из этого понять, какого размера Grok-1, тоже 33B или больше.
По метрикам обходит LLAMA-2-70B и ChatGPT-3.5. От 4ки отставание достаточно сильное.
Интересно, что обучение происходило на JAX, а Rust был выбран как язык для напиания инфраструктурных финтефлюшек.
Говорят, что делают фокус на эффективность использования GPU, и это же написано на странице с вакансиями.
Дальнейшие направления фокуса:
— Multimodal capabilities
— Scalable oversight with tool assistance
— Integrating with formal verification for safety, reliability, and grounding
— Long-context understanding and retrieval
— Adversarial robustness (easily exploitable vulnerabilities)
Записаться в waitlist: тут.
UPD: интересно, что буквально с нуля за 4-5 месяцев команда вышла на такой уровень, сделала 2 итерации обучения, и в итоге обогнала Facebook, которые LLMки тренят с 2021го как минимум.
Источник: Сиолошная
2023-11-05 08:49:36