Як «продати» автотести: проводимо розрахунки та розбираємо на прикладі

Чимало замовників не готові впроваджувати на проєкті автоматизовані тести. Це потребує часу й витрат, а виграш не завжди очевидний клієнту. Тож з усіх сил Sales-менеджери, проєктні менеджери і тестувальники намагаються показати всі переваги автоматизації в конкретному випадку.

Наша команда — не виняток. З власного досвіду я зібрав декілька порад, як ви теж можете робити це ефективно та «продати» автотести тоді, коли вони дійсно потрібні.

У першій частині статті поговоримо про обґрунтування інвестицій з точки зору фінансової вигоди для замовника.

Як довести економічну доцільність автоматизованих тестів

Універсальне мірило оцінки в бізнесі — це гроші. Тому починати краще з підтвердження фінансових переваг. Тут допоможе коефіцієнт ROI (Return Оn Іnvestment), який показує рентабельність повернення інвестицій. Узагальнити розрахунок ROI у розрізі автоматизованого тестування можна за формулою:

ROI = (вартість мануального тестування – вартість автоматизованого тестування) / вартість автоматизованого тестування х 100%

Але це ще не все. Ви маєте пригадати все, що треба включити у витрати на впровадження автотестів та відносно точно спрогнозувати можливу економію. Для цього необхідно визначити три показники, про які поговоримо нижче.

Вартість мануального тестування

Для розрахунку витрат визначте, наприклад:

• кількість тест-кейсів та циклів регресійного тестування за певний проміжок часу;
• середню тривалість виконання тест-кейсу;
• вартість робочих годин тестувальників та інструментів, якщо їм необхідний для цього платний софт.

У процесі мануального тестування показник часу, необхідного для проходження абстрактного тест-кейсу, не має перспективи зниження. Необхідно перевіряти все більше функціоналу у старих та нових частинах продукту.

Через це кошторис такого тестування постійно зростатиме.

Але не всі мануальні процедури можна замістити автоматизацією. Тож тест-кейси та інші процедури, які неможливо автоматизувати, не враховуються під час розрахунку цього показника.

Вартість впровадження автоматизації

Потрібно порахувати, скільки часу знадобиться на реалізацію автоматизованих сценаріїв. Не забудьте врахувати і підготовчі роботи.

Це можуть бути, наприклад, створення стратегії та фреймворку автоматизації, вартість ліцензії для нових інструментів (якщо вони є) тощо. На це все краще одразу закласти невеликий запас по грошам, щоб у разі чого був простір для маневру в майбутньому.

Вартість проведення автоматизованого тестування

Цей показник розрахувати складніше, бо тут роль відіграє прогнозування. Основні складові — вартість робіт із супроводу автоматизованого тестування та підтримки тестів протягом усього періоду аналізу. Зважайте й на те, що об’єкт тестування (продукт) постійно розвивається. Тож обсяг робіт постійно зростатиме, хоча й не так лінійно, як у випадку мануального тестування.

Як провести розрахунки: розбираємо на прикладі

Тепер проведемо розрахунок ROI на прикладі, де нам відомі базові складові показників. На проєкті щомісяця відбувається два релізи. Перед кожним з них виконується 200 мануальних тест-кейсів із середньою вартістю кожного $50. Для простоти розуміння вважатимемо ці дані незмінними у перспективі.

Припустимо, ви хочете протягом першого місяця автоматизувати 50 тест-кейсів та використовувати їх у подальших релізах. Вартість розробки кожного такого тест-кейсу складає $120. На його супровід витрачається десь $10 за реліз. Тоді розрахунки на два місяці виглядатимуть так:

Вартість мануального тестування: 50 тестів х $50 x 2 релізи х 1 місяць = $5000

Вартість автоматизації: 50 тестів х $120 = $6000

Вартість супроводу автоматизованих тестів: $10 x 50 тестів x 2 релізи х 1 місяць = $1000

Вартість автоматизованого тестування: $6000 + $1000 = $7000

ROI = ($5000 – $7000) / $7000 х 100% = -29%

Звідки взявся мінус? Ви зробили інвестиції, які по часу ще не виправдали себе. Саме тому треба дивитися повний цикл життя проєкту.

До прикладу, в подальшому ви нічого додатково автоматизувати не збираєтеся. Тож будете використовувати лише те, що вже автоматизовано. В такому разі розрахунки на наступні 6 місяців використання автотестів виглядатимуть так:

Вартість мануального тестування: 50 тестів х $50 х 2 релізи х 6 місяців = $30000

Вартість автоматизації: 50 тестів х $120 = $6000

Вартість супроводу автоматизованого тестування: $10 x 50 тестів x 2 релізи х 6 місяців = $6000

Вартість автоматизованого тестування: $6000 + $6000 = $12000

ROI = ($30000 – $12000) / $12000 х 100% = 150%

Тобто інвестиції дають зниження витрат на $6000 за 6 місяців у порівнянні зі старою схемою роботи QA-команди. Якщо нічого далі не змінювати, то при подальших релізах ефективність первинних інвестицій в автоматизацію продовжить зростати.

ROI-калькулятори: за і проти

Наведений приклад дуже простий. Зазвичай на практиці все виглядає дещо інакше. У проєкті можуть постійно з’являтися нові як мануальні, так і автоматизовані тести. Це впливає на середню вартість автоматизації або проходження мануального тест-кейсу, і це дуже складно спрогнозувати. Тому фахівці часто користуються ROI-калькулятором. Він може бути у вигляді окремого застосунку або таблиці з формулою, яка містить необхідні складові всіх показників. Щоб визначити рівень повернення інвестицій достатньо ввести конкретні цифри. Все дуже просто та швидко.

В інтернеті ви можете знайти багато готових ROI-калькуляторів. Проте я не раджу відразу кидатись використовувати їх. Адже складові доданих у такий калькулятор параметрів можуть не відповідати вашому проєкту.

Ознайомтесь з ними, щоб збагнути сам принцип формування ROI, а потім створіть свій шаблон, який будете адаптувати під кожний новий проєкт. З таким шаблоном ви завжди без проблем поясните клієнту, що і чому включено в ті чи інші витрати або прогнози.

Коли маєте ROI, з отриманими цифрами можна сміливо йти до клієнта. Якщо у вас із ним довірлива комунікація, цього буде цілком достатньо.

Хоча я все ж таки раджу поставитися до цих перемовин комплексно і не обмежуватися лише ROI. Та про цей підхід поговоримо згодом — у другій частині статті.

Stay tuned!