Large Transformer Model Inference Optimization. . Любителям погонять...

Large Transformer Model Inference Optimization

Любителям погонять GPT-3 у себя на ноутбуке. Lilian Weng недавно написала объемный блог пост, про существующие техники ускорения и увеличения эффективности инференса больших языковых моделей, да и не только языковых, а больших трансформеров в целом.

Го читать статью!

А вот тут я ещё писал про ее топовый пост о диффузионках.

@ai_newz