Оптимизация инференса генеративных моделей в Amazon SageMaker: практическое руководство с новым

Оптимизация инференса генеративных моделей в Amazon SageMaker: практическое руководство с новым Python SDK

1. Установите SageMaker Python SDK v3 и запустите нагрузочный тест прямо из Jupyter-ноутбука одной командой.
2. Получите автоматический анализ метрик: TTFT, latency, throughput и стоимость запроса.
3. Выберите оптимальный инстанс и конфигурацию контейнера из ранжированного списка рекомендаций.
4. Примените лучшую конфигурацию кнопкой и сравните результаты до/после деплоя.

Читать статью →

Подписаться на канал