Иииии если вам заходит текстовый контент, а не...

Иииии если вам заходит текстовый контент, а не видео, но вы всё ещё ждёте лонгрид (которым я занимаюсь), то предлагаю прочитать статью из блога The Pragmatic Engineer.

Статья: Scaling ChatGPT: Five Real-World Engineering Challenges (бесплатно, без пейволла)

Рассказывает руководитель команды ChatGPT (под ним более 150 человек, работающих над продуктом). Самая интересная часть — четвертая, где пройдутся по пяти проблемам и их решениям:
— KV Cache & GPU RAM
— Optimizing batch size
— Finding the right metrics to measure
— Finding GPUs wherever they are
— Inability to autoscale

(я пока не читал, почитаю потом, но если нашли что-то интересное — кидайте в комменты!)