Великі мовні моделі (LLM): з чого почати побудову власного кластера?

Настасья
Відправлено 2 дня, 8 годин тому в розділ ОСББ, переглянуто 2 раз(-ів)

Привіт усім! Наше керівництво доручило нам розгорнути власну систему на базі генеративного штучного інтелекту для швидкої та якісної обробки звернень клієнтів. Але звичайні офісні сервери для такої задачі взагалі не підходять, тому я зараз ламаю голову над тим, де взяти необхідні обчислювальні потужності без багатомільйонних бюджетів. Чув, що великі компанії не купують залізо самі, а вже потроху тестують власні ШІ-моделі для оптимізації процесів на орендованих ресурсах. Я почав шукати технічні вимоги та натрапив на крутий розбір того як побудувати інфраструктуру для великих мовних моделей https://okhtyrka.org.ua/iak-pobuduvaty-infrastrukturu-dlia-velykykh-movnykh-modelej де максимально детально описані необхідні конфігурації кластерів зі спеціальними тензорними прискорювачами. Здається, оренда потужних віртуальних машин з GPU — це дійсно єдиний адекватний вихід для швидкого старту. А як ви тестуєте свої нейромережі на початкових етапах? Чи купуєте ви фізичні відеокарти в офіс, чи все ж орендуєте ресурси?

Коментарі відсутні.
  • Додайте перший коментар!

Додати коментар
Форум
Будь ласка, увійдіть або зареєструйтесь, щоб залишити коментар!

Розділи
ОСББ

тут обговорюємо питання щодо створення та роботи ОСББ