Університет Берклі запустив менеджера хмарних сховищ SkyPilot

Дослідники з Sky Computing Lab Каліфорнійського університету в Берклі випустили SkyPilot, платформу з відкритим вихідним кодом, для запуску пакетних завдань у будь-якому хмарному сховищі або в декількох з єдиним хмарно-незалежним інтерфейсом.

Про це написав Datanami.

SkyPilot використовує алгоритм, щоб визначити, яка хмарна зона чи постачальник послуг є найрентабельнішими для конкретного проекту. Програма враховує вимоги до ресурсів робочого навантаження , а потім автоматично визначає, в яких місцях (зона/регіон/облачно сховище) є доступні обчислювальні ресурси для виконання завдання.

Творці SkyPilot стверджують, що програма може надійно підготувати кластер з автоматичним перемиканням на інші місця у разі виникнення помилок, вона може синхронізувати код користувача та файли з локальних або хмарних кошиків з кластером, а також може керувати черговістю та виконанням завдань. Дослідники стверджують, що це призводить до суттєвого зниження витрат, іноді більш ніж у 3 рази.

Щоб зменшити витрати, SkyPilot використовує різницю у цінах між хмарними провайдерами на аналогічні апаратні ресурси. Наприклад Azure зараз пропонує найдешевші екземпляри A100, але Google Cloud і AWS стягують надбавку в розмірі 8% і 20% за ту ж обчислювальну потужність. Для ЦП деякі відмінності у ціні можуть перевищувати 50%.

SkyPilot доступний на Github за посиланням