Бесплатное облако для моделек на $30 в месяц

[itbeard]

Автор: Сергей Кулабухов

Обсуждение в клубе: https://t.me/c/2069889012/6/7126

---

Сервис Modal на бесплатной подписке ежемесячно даёт $30 долларов для инфиренса поддерживаемых моделей. По факту это облачные GPU, привязываешь карту и получаешь каждый месяц 30 баксов бесплатно. Для пет-проектов с лихвой хватает. Видимо это сделано для привлечения корпоративных клиентов, которым $30 будет мало, но на попробовать хватит.

Стоимости железа такие, что в моменте можешь хоть 4 H100 GPU подключить к тестовой функции и не платить за это:

И тут ты сам разворачиваешь что захочешь. любую модель или не модель, не важно. просто образ билдишь, выбираешь железо и погнал. И регистрация сильно проще чем у того же AWS. Есть возможность веб эндпоинт сделать и пулять чисто запросы, либо через python-библиотеку.