Вот так выглядит кросс-модальный поиск, с помощью

Вот так выглядит кросс-модальный поиск, с помощью ImageBind.

Можно даже складывать и вычитать эмбеддинги. Например, сложив звук мотора и фото голубя, поиск найдет в датасете фото мопеда, разгоняющего голубей на улице.

Тот факт, что линейные операции на эмбеддингах дают осмысленный результат, значит что разные признаки, закодированные в эмбеддингах, хорошо распутаны и отделены нейронной сеткой.

@ai_newz