GPU-Resident Top-K для Agentic RAG: как запустить similarity search на GPU и ускорить retrieval в

GPU-Resident Top-K для Agentic RAG: как запустить similarity search на GPU и ускорить retrieval в 8.57x
Настройте GPU-вычисления: храните эмбеддинги в VRAM, но утилизируйте всю пропускную способность видеокарты для top-K.
Осознайте потерю: копирование всех парных расстояний через PCIe занимает 90% времени и даёт latency 400+ мс на FAISS GPU.
Реализуйте CUDA kernel для top-K прямо на GPU без копирования на хост — это устраняет узкое место ввода-вывода.
Проверьте ускорение: на старой GTX 1080 время retrieval падает в 8.57x при сохранении точности поиска.
Читать статью →

Подписаться на канал