PyTorch представляє Monarch — фреймворк для програмування на тисячах комп’ютерів

Команда PyTorch випустила фреймворк з відкритим кодом Monarch, який дозволяє Python-розробникам програмувати розподілені системи так, ніби це лише одна машина. Інструкції зі встановлення фреймворка можна знайти на сайті meta-pytorch.org, пише InfoWorld.

Monarch поєднує фронтенд на базі Python, підтримує інтеграцію з існуючим кодом та бібліотеками, такими як PyTorch, та серверну частину на базі Rust, що сприяє продуктивності, масштабованості та надійності. Фреймворк базується на масштабованому обміні повідомленнями між акторами, що дозволяє програмувати розподілені системи так само, як і для окремого ПК. У підсумку це помітно спрощує розподілені обчислення.

Monarch організовує процеси, актори та хости в масштабований багатовимірний масив, або сітку, якою можна маніпулювати напряму. Користувачі можуть працювати з цілими сітками або їх фрагментами за допомогою простих API, а Monarch автоматично обробляє розподіл та векторизацію.

Monarch розділяє обмін повідомленнями таким чином, що це дозволяє пряму передачу пам’яті між графічними процесорами через кластер. Команди надсилаються одним шляхом, а дані переміщуються іншим. Monarch інтегрується з PyTorch для створення тензорів, які розподіляються між кластерами графічних процесорів. Тензорні операції виглядають локальними, але виконуються у великих розподілених кластерах, при цьому Monarch координує роботу між тисячами графічних процесорів.

Команда PyTorch попереджає, що на поточному етапі в роботі Monarch можна очікувати помилки, неповні функції та API, які можуть змінитися в майбутніх версіях.