Держите еще одну идею для бизнеса - rag система в виде умного ИИ- виджета на сайт, которая отвечает

Я продублирую свой ответ на похожий вопрос:
У меня настроено 3 этапа. Сначала - пробую забрать вручную созданные субтитры (это редкость). Затем - автоматически созданные (это почти всегда). Если нет - тогда запускается полный прогон - забираю аудио из видео и отправлю его батчем в Gemini с максимально прописанным промптом - получаю сырой транскрипт с временными метками. Затем его сохраняю и опять отправляю в Gemini . На этой итерации - получаю 3 документа - таймкоды по разделам с коротким описанием, саммари - о чем видео, что ценного было сказано и пр. И полный транскрипт, но переделанный из сырого.
Если это рецепты - то саммари показывает список инградиентов и способ приготовления.
Если это тревел-влог - то саммари показывает особенности той страны/города, где автор видео делится мыслями (цены на жилье, питание, отдых - все сжато в одном тексте).
Если это какие-то практические советы (напр., стройка) - то в саммари также выносится все ценное, что было сказано автором).
Если приходится "долбиться" через аудио - то для этой цели использую питоновский youtube-dl. Он живет на своем отдельном сервере и выполняет небыстрые задачи.
Есть отдельно второй сервер - чисто под скорость. На нем крутится Ларавел - обслуживает веб-морду и приложение.
Ларавел создает таски и пишет в БД. Пайтон периодически делает проход по этой базе и, если есть таски, забирает их и выполняет.
Для коротких видео - использую синхронную работу с Gemini (чтобы побыстрее получить результат).
Если видео длинное - кидаю его в Gemini через батчи (так в 2 раза дешевле, но не так быстро - для длинных видео это не так критично).
Если интересно (и Макс не против) - могу тут скинуть пример pdf-файлов, которые получаются на выходе. Ответить