Де брати потужності для Machine Learning, щоб не обвалити бюджет?

Привіт усім!

Останні кілька місяців наша команда активно займається навчанням нейромереж, і продуктивності локальних відеокарт нам уже катастрофічно не вистачає. Ми просто марнуємо години на очікування результатів.

Спочатку пробували орендувати інстанси з GPU по годинах на західних майданчиках, але рахунки швидко стали неадекватними. Купувати власні потужні сервери — теж не варіант через капітальні витрати. Шукаючи золоту середину на нашому ринку, я натрапив на статтю про те, як працює приватна GPU-платформа для навчання моделей https://www.brd24.com/article/pryvatna-gpu-platforma-dlia-navchannia-modeley-iz-harantovanoiu-produktyvnistiu.html і це наштовхнуло мене на думку, що фіксована оренда цілого виділеного пулу карток може бути значно прогнозованішою фінансово.

А як ви вирішуєте проблему з нестачею обчислень? Збираєте "залізо" під столом чи все ж орендуєте спеціалізовані середовища?