Великі мовні моделі (LLM): з чого почати побудову власного кластера?
Привіт усім! Наше керівництво доручило нам розгорнути власну систему на базі генеративного штучного інтелекту для швидкої та якісної обробки звернень клієнтів. Але звичайні офісні сервери для такої задачі взагалі не підходять, тому я зараз ламаю голову над тим, де взяти необхідні обчислювальні потужності без багатомільйонних бюджетів. Чув, що великі компанії не купують залізо самі, а вже потроху тестують власні ШІ-моделі для оптимізації процесів на орендованих ресурсах. Я почав шукати технічні вимоги та натрапив на крутий розбір того як побудувати інфраструктуру для великих мовних моделей https://okhtyrka.org.ua/iak-pobuduvaty-infrastrukturu-dlia-velykykh-movnykh-modelej де максимально детально описані необхідні конфігурації кластерів зі спеціальними тензорними прискорювачами. Здається, оренда потужних віртуальних машин з GPU — це дійсно єдиний адекватний вихід для швидкого старту. А як ви тестуєте свої нейромережі на початкових етапах? Чи купуєте ви фізичні відеокарти в офіс, чи все ж орендуєте ресурси?
Додайте перший коментар!
тут обговорюємо питання щодо створення та роботи ОСББ