Video understanding

Нейросеть Video understanding

SM (Socratic Models) — это фреймворк, объединяющий несколько базовых моделей (языковые, визуальные, аудио-языковые) для решения мультимодальных задач без настройки. Этот colab использует SM для поиска видео по тексту на наборах тестов MSR-VTT Full и 1k-A. Он использует ALM для распознавания речи, GPT-3 для суммирования транскрипций и RoBERTa для классификации совпадений с подписями. Это реализация идеи композиции мультимодального рассуждения без настройки языка. CLIP и GPT-3 используются в качестве базовых моделей, поэтому результаты могут быть предвзятыми. Этот код следует использовать осторожно и проверять на правильность. SM позволяет анализировать видео и создавать к ним надписи, переводить видео в текст, описывать и анализировать его содержание.