AudioScreen: эксперимент в области доступности изображений для незрячих людей

Автор: Michael Curran, NV Access Limited

Введение

Audio Screen — это дополнение для программы экранного доступа NVDA. Audio Screen позволяет незрячему человеку перемещать палец по сенсорному экрану, совместимому с Windows 8 и выше, и слышать часть изображения под пальцем. Если сенсорный экран недоступен, вместо него можно перемещать мышь, хотя это несколько менее точно для пользователя, поскольку движение мыши является относительным.

Здесь демонстрация AudioScreen от Michael Curran [mp3 файл, 17 mb], где он демонстрирует различные режимы и использует его для изучения карты Австралии, радуги, Земли из космоса, мультяшного дома и заката.

Поскольку для работы Audio Screen требуется NVDA, пользователь также будет получать речевое подтверждение, такое как название элемента управления или текст, непосредственно под пальцем.

Audio Screen можно рассматривать как экспериментальный альтернативный способ для незрячих людей просматривать базовые изображения, такие как диаграммы и карты, когда нет другого тактильного формата.

AudioScreen имеет два режима вывода: "Серый тон-стерео" для исследования линий и контуров изображений (полезно для карт и диаграмм и т.д.) и "Цвет HSV" для исследования вариаций цвета изображений (полезно для фотографий).

Режим Серый тон-стерео

В этом режиме AudioScreen представляет изображение под вашим пальцем или мышью в виде множества тонов, которые меняются по высоте, громкости и стереопозиции. Идея основана на системе визуально-слухового преобразования vOICe от Peter Meijor. (www.seeingwithsound.com) Audio Screen стремится предоставить примерно ту же информацию, которую предоставил бы ваш палец для тактильных диаграмм. Вы можете определить, когда ваш палец или мышь перемещается над линией, как по горизонтали, так и по вертикали. Например, если ваш палец пересекает горизонтальную линию при движении вниз по экрану, вы можете услышать, как линия движется вверх над вашим пальцем. Если ваш палец пересекает вертикальную линию при движении по экрану слева направо, вы услышите, как линия движется по вашему пальцу справа налево. Если вы оставите палец или мышь неподвижными в точке на экране более чем на полсекунды, audioScreen начнет проход аудио слева направо, изолируя отдельные столбцы пикселей, обеспечивая гораздо более детальную информацию об изображении для помощи в обнаружении паттернов и т.д.

В NVDA 2016.1 или новее, если вы разместите более одного пальца на экране одновременно, audioScreen будет проходить по изображению, ограниченному всеми вашими пальцами. Например, разместив один палец в верхнем левом углу большого изображения, а другой палец в нижнем правом углу, audioScreen будет проходить по всему изображению.

Помимо получения обратной связи от сенсорного ввода или мыши, вы также можете дать указание audioScreen проходить по всему изображению или элементу управления с помощью команды воспроизведения навигационного объекта. Это выполнит несколько проходов в стиле vOICe по текущему навигационному объекту NVDA.

Режим Цвет HSV

В этом режиме AudioScreen будет передавать цвет (а именно оттенок, насыщенность и яркость) изображения под вашим пальцем.

Оттенок (позиция в цветовом спектре) представлен тоном определенной высоты. В настоящее время самый низкий тон — синий, переходящий в зеленый, желтый, оранжевый, красный (самый высокий тон). Поскольку спектр на самом деле является кругом, переходящим от красного через пурпурный обратно к синему, верхний (красный) тон затухает, а нижний (синий) тон появляется снова.

Насыщенность (насколько ярким является цвет) представлена коричневым шумом (низкий случайный шум). Когда цвет наиболее яркий (полная насыщенность), случайного шума нет, и спектральный тон слышен полностью. По мере уменьшения насыщенности до серого (отсутствие насыщенности) спектральный тон становится тише, а случайный шум становится громче, в конечном итоге при отсутствии насыщенности слышен только случайный шум.

Яркость представлена общей громкостью звука в целом.

Некоторые примеры:

• Черный: тишина
• Белый: громкий случайный шум
• Ярко-синий: очень низкий тон
• Ярко-желтый: средний или высокий тон
• Блеклый красный: очень высокий тон с некоторым случайным шумом.
• Темно-зеленый: тихий низко-средний тон.
• Темно-серый: тихий случайный шум.

Системные требования

• Установленная копия NVDA 2024.1 или выше
• Операционная система Windows 10 или новее
• Совместимый с Windows 10/11 сенсорный экран, в противном случае мышь.
• Визуальная обратная связь для касания должна быть отключена в Windows. Найдите в начальном экране «Изменение параметров сенсорного ввода» и в этом диалоговом окне снимите флажок «Показывать визуальную обратную связь при касании экрана».

Загрузка

• Загрузите AudioScreen из магазина дополнений.
• Загрузите Примеры изображений [zip файл].

Запуск AudioScreen

После установки дополнения из магазина дополнений NVDA попросит перезапустить себя.

Важно: Визуальная обратная связь для касания должна быть отключена в Windows. Найдите в начальном экране «Изменение параметров сенсорного ввода» и в этом диалоговом окне снимите флажок «Показывать визуальную обратную связь при касании экрана».

Пока NVDA работает с установленным этим дополнением, откройте интересное изображение в полноэкранном режиме (например, используйте Microsoft Edge для отображения одного из примеров svg файлов, убедившись, что он развернут на весь экран и переведен в полноэкранный режим с помощью f11).

AudioScreen по умолчанию выключен, поэтому включите его, переключившись на другой режим в настройках AudioScreen (Меню NVDA/Параметры/Настройки/AudioScreen). Это переключает между Серый тон-стерео, Цвет HSV и выключено.

Теперь перемещайте палец или мышь по экрану и начинайте слушать изображение под пальцем. Поскольку NVDA также может озвучивать элементы управления и текст под пальцем, просмотр SVG карты или диаграммы работает отлично, так как Internet Explorer позволит NVDA озвучить заголовок и/или описание для любой фигуры, над которой перемещается палец, при условии, что заголовок и/или описание были правильно определены с использованием тегов title и desc в соответствующем SVG файле.

Команды

Вы можете добавить или изменить клавиатурные команды, перейдя в меню NVDA/Параметры/Жесты ввода в категории AudioScreen.

Сменить аудио режим (не назначено)

Эта команда переключает между несколькими режимами:

• Серый тон-стерео: для исследования линий и контуров изображений (полезно для карт и диаграмм и т.д.)
• Цвет HSV: для исследования вариаций цвета изображений (полезно для фотографий).
• Выкл [по умолчанию]: полностью отключает AudioScreen.

Воспроизвести навигационный объект (Нажать NVDA+alt+a)

Эта команда воспроизведет текущий навигационный объект NVDA, выполнив несколько стерео проходов в стиле vOICe по нему.

Показать настройки (не назначено)

Это выводит диалоговое окно настроек, которое позволяет изменить несколько параметров для audioScreen. Пользовательский интерфейс настроек также можно запустить, выбрав AudioScreen... в разделе Параметры в меню NVDA.

Настройки

Режим AudioScreen

Выберите желаемый режим:

• Серый тон-стерео: для исследования линий и контуров изображений (полезно для карт и диаграмм и т.д.)
• Цвет HSV: для исследования вариаций цвета изображений (полезно для фотографий).
• Выкл [по умолчанию]: полностью отключает AudioScreen.

Настройки Серый тон-стерео

Обратная яркость

Эта опция позволяет обратить яркость изображения, так что вместо того, чтобы светлое было громким, а темное тихим, темное будет громким, а светлое тихим. Очень полезно при воспроизведении изображения, где объекты переднего плана темнее фона.

Количество столбцов в стереополе

Насколько широким (в пикселях) должно быть изображение. При перемещении пальцем или мышью это буквально ширина захваченного изображения. Для команды воспроизведения навигационного объекта, хотя полное изображение извлекается, оно сжимается или растягивается, чтобы соответствовать этой ширине.

Количество строк (частот)

Насколько высоким (в пикселях) должно быть изображение. Каждая строка пикселей представлена определенной частотой. Частоты распределены логарифмически. При перемещении пальцем или мышью это буквально высота захваченного изображения. Для команды воспроизведения навигационного объекта, хотя полное изображение извлекается, оно сжимается или растягивается, чтобы соответствовать этой высоте.

Самая низкая частота в ГЦ

Частота (в ГЦ), используемая для самой нижней строки изображения.

Самая высокая частота в ГЦ

Частота (в ГЦ), используемая для самой верхней строки изображения.

Начальная задержка стерео прохода в секундах

Как долго audioScreen должен ждать (в секундах), чтобы начать проход по изображению, после того как ваш палец или мышь переместились.

Длительность стерео аудио прохода в секундах

Как долго (в секундах) должен длиться каждый проход.

Количество стерео проходов

Количество проходов, которые должны быть воспроизведены после перемещения пальца или мыши или при запуске команды воспроизведения навигационного объекта.

Ширина (в пикселях) прямоугольника в точке под пальцем / мышью

Насколько широка область захвата при воспроизведении отдельной точки на экране.

Высота (в пикселях) прямоугольника в точке под пальцем / мышью

Насколько высока область захвата при воспроизведении отдельной точки на экране.

Настройки Цвет HSV

Горизонтальная длина области захвата в пикселях

Ширина (в пикселях) области под пальцем или мышью, захватываемой для определения цвета. Цвет усредняется по этой области. Меньшие значения дадут более точные цвета, хотя могут заставить вас слышать больше деталей, чем, возможно, видно визуально.

Вертикальная длина области захвата в пикселях

Высота (в пикселях) области под пальцем или мышью, захватываемой для определения цвета. Цвет усредняется по этой области. Меньшие значения дадут более точные цвета, хотя могут заставить вас слышать больше деталей, чем, возможно, видно визуально.

Самая низкая частота (синий) в ГЦ

Частота (в ГЦ), которая представляет синий цвет. Частота повышается через аквамарин, зеленый, желтый, оранжевый до красного. Поскольку цветовой спектр замыкается от красного обратно к синему через пурпурный, пурпурные цвета представлены как низкой (синей) частотой, так и высокой (красной) частотой в различных соотношениях громкости. Т.е. Синевато-пурпурный будет в основном низкой (синей) частотой с небольшим количеством высокой (красной) частоты).

Самая высокая частота (красный) в ГЦ

Частота (в ГЦ), которая представляет красный цвет. Частота понижается через оранжевый, желтый, зеленый, аквамарин до синего. Поскольку цветовой спектр замыкается от синего обратно к красному через пурпурный, пурпурные цвета представлены как низкой (синей) частотой, так и высокой (красной) частотой в различных соотношениях громкости. Т.е. Красновато-пурпурный будет в основном высокой (красной) частотой с небольшим количеством низкой (синей) частоты.

Разработка и упаковка из исходного кода

Клонируйте репозиторий AudioScreen командой: git clone https://www.github.com/nvaccess/audioScreen

Python 2.7 требуется для сборки и разработки этого проекта.

AudioScreen зависит от libaudioverse 0.8:

• Перейдите в репозиторий audioScreen, который вы клонировали с помощью git
• Запустите команду: pip install --ignore-installed -t addon\globalPlugins\audioScreen\deps libaudioverse

Упаковка дополнения NVDA

В каталоге addon:

• Отредактируйте manifest.ini, чтобы установить версию дополнения и т.д.
• Создайте zip-файл с помощью вашего любимого инструмента архивирования, включив как manifest.ini, так и каталог globalPlugins. Важно, чтобы и manifest.ini, и globalPlugins находились в корне zip-файла, т.е. без промежуточного каталога. Zip-файл должен иметь расширение .nvda-addon.

Предыстория

Уже довольно давно я хотел получить способ доступа как незрячий человек к картам и базовым диаграммам без хлопот, связанных с их производством в тактильном формате.

Хотя тактильные форматы, безусловно, очень полезны, когда они доступны, у них есть определенные недостатки, такие как:

• Они медленны в производстве
• Требуются специальные материалы
• Иногда требуется специальная машина
• Довольно неэкологичны из-за waste бумаги
• Громоздки для переноски
• Может быть включена только очень ограниченная маркировка из-за ограничений по пространству

Несколько лет назад я наткнулся на очень интересное программное обеспечение под названием The vOICe с сайта www.seeingwithsound.com. Это программное обеспечение могло принимать изображения или видео с веб-камеры и воспроизводить его незрячему человеку в виде звука, используя высоту тона, громкость и стереопанорамирование. Хотя программное обеспечение vOICe является более пассивным в том смысле, что оно сканирует слева направо по всему изображению, я видел много возможностей использования этой концепции преобразования изображения в звук более активным способом, с помощью сенсорного экрана.

Следует также отметить, что я знаю о других исследованиях по передаче изображений на сенсорных экранах с помощью звука, но ни одно из них, которые я видел до сих пор, еще не решило попробовать использовать концепцию преобразования vOICe.

При передаче информации от одной сенсорной модальности к другой я считаю очень важным не терять информацию в процессе. Если вы можете обеспечить примерно такое же или лучшее разрешение во втором чувстве, мозгу будет гораздо легче декодировать информацию. Я считаю, что такое преобразование, как vOICe, определенно очень близко к достижению этого.

Преобразование цвета в звук

Хотя доступ к базовым диаграммам, таким как карты и другие рисунки на основе линий, имеет множество практических применений для незрячих, также есть аргумент, что доступ к цветным изображениям, таким как произведения искусства или красота мира, имеет некоторое субъективное значение. Например, как цвета меняются в радуге или на изображении Земли из космоса. Эти вещи очень трудно описать словами.