Ничего необычного

Ничего необычного. Прошло 2 дня с выхода Falcon 180B и Герганов уже как ни в чем не бывало гоняет её у себя на маке M2 Ultra через LLaMa.cpp со скоростью 6.30 токенов в секунду

Это 4-битная моделька falcon-180b-chat.Q4_0.gguf отсюда.

@ai_newz