Хорошее направление развития

Хорошее направление развития. Интересно, через какое время мы добьёмся качества GPT-4 при скромном размере, и во сколько раз этот размер будет меньше. Как пишут авторы в завершение, “Perhaps achieving ChatGPT’s level of capability at the one billion parameters scale is actually achievable?”

Конечно, уже есть файнтюны модели. Например, Puffin-Phi V2 (https://huggingface.co/teknium/Phi-Hermes-1.3B) с в том числе instruction following на датасете OpenHermes (https://huggingface.co/datasets/teknium/openhermes), или ассистент Samantha (https://huggingface.co/ehartford/samantha-phi) со специализацией на “philosophy, psychology, and personal relationships”.