Просадка в качестве модели от такой индуцированной разреженности...

Просадка в качестве модели от такой индуцированной разреженности минимальная. Изредка бывает незначительное уменьшение, но бывает и увеличение качества, что само по себе интересно (если это не статистическая флуктуация).

PowerInfer совместим с разными семействами LLM, включая OPT (7B-175B), LLaMA (7B-70B), и Falcon40B. На очереди Mistral-7B.

Я прям уверен, что от этого и других подобных решений разойдётся целая ветвь новых работ и продвинутых движков инференса. Самой Нвидии это скорее всего не очень интересно (надо продавать дорогие A100/H100), но народное опенсорс движение создаст свою вселенную решений для более дешёвого железа. И здесь должен возникнуть не один стартап.