15T токенов, но маленькое окно контекста: 8k. (для...

15T токенов, но маленькое окно контекста: 8k
(для сравнения, LLAMA-2 тренировалась на 2T)

отсюда