Как программировать голосом

Голосовое программирование может стать новым этапом разработки ПО. С помощью платформ голосового управления программисты произносят команды для манипулирования и написания кода, а так же для автоматизации рабочих процессов.

Две ведущие платформы речевого программирования — Serenade и Talon — разрабатывались из-за необходимости их авторов оставить профессию в связи с болями в руках. Их целью стало создание платформы, которая полностью заменит клавиатуру и мышь.

Приложение для кодирования голоса Serenade имеет механизм преобразования речи в текст, разработанный специально для кода, в отличие от API преобразования речи в текст от Google, который предназначен для разговорной речи. Когда инженер-программист произносит код, движок Serenade передает его на свой уровень обработки естественного языка. Программа заботится о синтаксисе, включая служебное слово def, круглые скобки и двоеточие, обеспечивая более естественный способ озвучивания кода.

По словам создателя платформы Talon, в ней есть несколько компонентов: распознавание речи, отслеживание взгляда и распознавание шума. Вместо того чтобы заставлять писать слова по буквам, в Talon есть команда для записи полных слов, фраз и предложений.

Механизм распознавания речи Talon основан на системе автоматического распознавания речи Wav2letter от Facebook. Отслеживание взгляда и распознавание шума имитируют навигацию с помощью мыши, перемещение курсора по экрану в зависимости от движения глаз и выполнение щелчков при щелчке во рту.

Ниже приведен пример — пошаговое руководство в Serenade и Talon по генерации кода Python, необходимого для вывода на экран слова «hello».

Генерация кода Python голосовыми командами

Платформы голосового кодирования с открытым исходным кодом, такие как Aenea и Caster, бесплатны, но обе основаны на движке распознавания речи Dragon, который нужно покупать отдельно. А чтобы попробовать голосовое кодирование, вам потребуется качественный микрофон, особенно если вы хотите устранить фоновый шум и оборудование для отслеживания взгляда.