Робота з ШІ-моделями: як оптимізувати обчислювальні ресурси?

Вітаю! Останнім часом ми дуже активно працюємо над інтеграцією сучасних великих мовних моделей у наші внутрішні CRM-системи. Але ми зіткнулися з тим, що постійний інференс моделі вимагає величезних обчислювальних ресурсів, які іноді простоюють вночі, і ми просто витрачаємо бюджет даремно. Згадалося, як знайомі айтішники розповідали про жорстку оптимізацію витрат за допомогою хмарних рішень, і я зрозумів, що нам терміново потрібен такий самий підхід. Я почав шукати рішення та знайшов статтю про те як побудувати інфраструктуру для роботи з LLM https://olexandria.org.ua/iak-pobuduvaty-infrastrukturu-dlia-roboty-z-llm де розповідається про розумне автоматичне масштабування вузлів залежно від поточного навантаження. Це дозволяє суттєво економити гроші, запускаючи GPU лише тоді, коли є реальні запити від юзерів. Які оркестратори ви використовуєте для управління своїми ШІ-проєктами? Як технічно уникаєте величезних переплат за холостий хід відеокарт?