Практическое развитие темы про Matryoshka Representation Learning (

Практическое развитие темы про Matryoshka Representation Learning (https://t.me/gonzo_ML/2037).

OpenAI натренировал свои новые эмбеддинговые модели с поддержкой этого дела (https://openai.com/blog/new-embedding-models-and-api-updates#ref-A), и теперь при запросе в апишке через параметр dimensions можно указывать, какого размера эмбеддинг вам нужен (https://platform.openai.com/docs/api-reference/embeddings/create#embeddings-create-dimensions).

Так, модель text-embedding-3-large, генерящую эмбеддинг размера 3072, можно попросить его урезать до размера, подходящего вашей векторной базе данных. При этом отрежутся менее значимые данные и качество будет даже выше, чем у модели предыдущего поколения с эмбеддингом меньшего размера.

Профит!

В общем, читайте Gonzo ML, и будете узнавать о прорывных вещах до того, как они пойдут в массы! :)

Пользуясь случаем, хочу напомнить, что у канала теперь есть Патреон (https://patreon.com/GonzoML). Вступайте в ряды Фурье!