Нейросеть OmniFusion заняла 1-ое место на международном портале разработчиков
Институт искусственного ума AIRI представил открытую версию модели OmniFusion – OmniFusion 1.1. также сейчас технический репорт со статьей модели вышел на 1-ое место в разделе Ежедневно trending papers на HuggingFace.
1-ая в РФ мультимодальная языковая модель, способная поддерживать зрительный беседа и давать ответ на вопросы юзеров по картинам, сейчас поддерживает российский язык. Open-source-код для обучения и веса доступны к использованию и могут быть использованы в том числе при разработке коммерческих товаров.
OmniFusion — это передовая мультимодальная модель искусственного ума, созданная для расширения способностей обычных систем обработки языка за счет интеграции дополнительных модальностей данных, к примеру, изображений, а в перспективе –– аудио, 3D- и видеоконтента.
Модель распознает и обрисовывает изображения. С ее помощью можно разъяснить, что изображено на фото, выяснить рецепт для изготовления блюда по фото ингредиентов, проанализировать карту помещения либо выяснить, как собрать устройство по фото отдельных его частей. Модель также умеет опознавать текст и решать задачки. К примеру, с её помощью можно решить логические задачки, написанный на доске вычислительный пример либо распознать формулу, а еще получить их шоу в формате LaTeX.
Диапазон способностей широкий: уже на данный момент модель может проанализировать мед изображение и указать на нем какую-то делему. Конечно, для того чтоб схожая модель помогала ставить диагнозы, ее нужно дополнительно учить на профильных датасетах с привлечением специалистов из медицины.
В базе архитектуры модели лежит методика совмещения заранее обученной немаленький языковой модели и ее «глаз» –– зрительных энкодеров, которые позволяют кодировать информацию на изображении в цифровой вектор, именуемый эмбеддингом. Обучением OmniFusion занимается научная группа FusionBrain Института AIRI при участии ученых из Sber AI и SberDevices.