В Университете Суррея создали нейросеть, превращающую текст в видео с сурдопереводчиком, который произносит ту же речь, но на языке жестов. Прежним аналогам не удавалось изобразить кисти рук так качественно, а именно они важны в этом языке. О научном прорыве сообщает , ссылаясь на
Алгоритм принимает текст, затем преобразует его в скелетную модель тела, которая иллюстрирует жесты сурдопереводчика. После всего нейросеть преобразовывает позы в видео.
Для того, чтобы обучить нейросеть, потребовалось 386 записей сурдоперевода с аннотациями на немецком телеканале. После синтеза видеоряда алгоритм проверяет выполненную работу. Именно поэтому результат получился такой впечатляющий.
Нейросеть уже протестирована 46 добровольцами, почти треть из которых — носители жестового языка. В большинстве случаев ей были выставлены высшие оценки. Инновационная разработка поможет автоматизировать сурдоперевод для разных событий и прямых эфиров.
Наука меняет мир и стремится к тому, чтобы в нем было комфортно каждому.