Двухчасовая лекция от ex-Tesla ex-OpenAI инженера-менеджера Andrey Karpathy...

Двухчасовая лекция от ex-Tesla ex-OpenAI инженера-менеджера Andrey Karpathy про токенизацию и все её тонкости

🙂

https://www.youtube.com/watch?v=zduSFxRajkE

Репозиторий с пошаговым и хорошо прокомментированным кодом как сопроводительный материал: https://github.com/karpathy/minbpe

Если вы хотели увидеть, как GPT "читает" ваш текст, какие единицы в нём выделяет — вам сюда.