Не найдено

Gemini Live для NVDA – Документация

Версия 1.0

Gemini Live обеспечивает живые голосовые разговоры в реальном времени с самым современным ИИ от Google непосредственно в вашей программе экранного доступа NVDA. Разговаривайте естественно, слушайте ответы, похожие на человеческие, и взаимодействуйте с Gemini с помощью голоса или набранного текста — не покидая привычный рабочий процесс. Это дополнение превращает NVDA в голосового ИИ- помощника без использования рук для исследований, письма, обучения или обычной беседы.

Содержание

1. Обзор
2. Возможности
3. Установка
4. Начало работы
5. Настройки и конфигурация
6. Библиотека голосов (30+ естественных голосов)
7. Интерфейс живого разговора
8. Управление ключами API (ротация)
9. Поиск Google и выполнение кода
10. Сочетания клавиш
11. Устранение неполадок
12. Системные требования
13. Поддержка и сообщество
14. Конфиденциальность и безопасность

Обзор

Gemini Live для NVDA — это профессиональное дополнение, которое подключает вас к аудиомоделям Google Gemini в реальном времени. В отличие от традиционных текстовых чат-ботов, это дополнение поддерживает полноценные голосовые разговоры в дуплексном режиме: вы говорите, ИИ слушает и отвечает естественной речью, а вы можете прервать его или набрать текст в любой момент. Дополнение поддерживает несколько ключей API с автоматической ротацией, 30 встроенными высокореалистичными голосами (мужскими, женскими, разных стилей) и расширенными функциями, такими как поиск Google и безопасное выполнение кода.

Все настройки — включая системные инструкции, предпочтения голоса, температуру, ключи API и параметры инструментов — сохраняются локально и действуют при перезапуске NVDA. Нужен ли вам помощник для мозгового штурма, ассистент по программированию, помощник в исследованиях или просто собеседник — Gemini Live легко впишется в вашу работу.

Возможности

• Голосовой разговор в реальном времени – говорите с Gemini и слушайте голосовые ответы с ультранизкой задержкой через Live API Google.
• 30 премиальных голосов – выбирайте из 30 выразительных голосов (Zephyr, Puck, Charon, Kore, Fenrir, Leda и другие) с уникальными стилями: Яркий, Жизнерадостный, Информативный, Твёрдый, Мягкий, Плавный и т.д.
• Текстовый ввод как альтернатива – набирайте сообщения, когда говорить неудобно; идеально для тихих мест или сложных запросов.
• Ротация ключей API – добавьте несколько ключей API (по одному на строку). Если один ключ не сработает или исчерпает лимиты, дополнение автоматически переключится на следующий.
• Системные инструкции – задайте характер, роль и ограничения Gemini (например, «Вы — терпеливый репетитор по программированию» или «Вы говорите только хайку»).
• Регулируемая температура (креативность) – ползунок от 0,0 (детерминированно, фактически) до 2,0 (креативно, неожиданно). По умолчанию 1,0.
• Поиск Google – включите поиск в реальном времени для получения актуальной информации, новостей и фактов.
• Безопасное выполнение кода – запускайте код Python в изолированной среде; идеально для анализа данных, математики или проверки фрагментов кода.
• Отключение микрофона – приостанавливайте голосовой ввод без завершения сеанса.
• Сохранение сеанса – держите разговор активным, пока явно не завершите его; тайм-аутов нет.
• Звуковые уведомления – системные звуки подтверждают подключение и отключение.
• Две поддерживаемые модели – gemini-3.1-flash-live-preview (быстрая) и gemini-2.5-flash-native-audio-preview-12-2025 (высокое качество).
• Отдельное сочетание для запуска – запускайте живой разговор напрямую через NVDA+S (в обход главного меню).
• Полная интеграция с NVDA – доступные диалоги, индикаторы прогресса и пункт в меню Сервис.

Установка

1. Скачайте файл .nvda-addon для Gemini Live.
2. Убедитесь, что NVDA запущена (при необходимости нажмите Control+Alt+N).
3. Откройте меню NVDA с помощью NVDA+N, перейдите в Сервис , затем Менеджер дополнений.
4. Нажмите кнопку Установить , выберите скачанный файл дополнения.
5. Подтвердите установку и перезапустите NVDA при появлении запроса.
6. После перезапуска откройте Gemini Live через NVDA+Alt+G или из меню Сервис NVDA.

Примечание: Для работы дополнения требуются действительные ключи API Google Gemini с доступом к аудиомоделям реального времени. Ключи API не включены в дополнение; их необходимо получить в Google AI Studio или Google Cloud Console.

Начало работы

Нажмите NVDA+Alt+G, чтобы открыть главное окно Gemini Live. Отсюда вы можете:

• Открыть Настройки для изменения ключей API, голоса, системных инструкций и инструментов.
• Начать разговор – начать живой голосовой сеанс с сохранёнными настройками.
• О программе – просмотреть версию дополнения, информацию об авторе и ссылку на канал поддержки в Telegram.

Кроме того, используйте прямое сочетание NVDA+S в любом месте, чтобы сразу начать живой разговор с последними использованными настройками (если они заданы).

При запуске разговора появляется диалог подключения, пока дополнение по очереди пробует каждый ключ API. После подключения вы услышите звук подтверждения (SystemAsterisk), и откроется главное окно разговора.

Настройки и конфигурация

Нажмите кнопку Настройки в главном диалоге или откройте их через меню Сервис. Все настройки автоматически сохраняются в %APPDATA%\gemini-live- application\settings.ini.

Вкладка «Общие настройки»

• Выбор модели ИИ – выберите между gemini-3.1-flash-live-preview (быстрее, ниже задержка) и gemini-2.5-flash-native-audio-preview-12-2025 (богатое аудиокачество).
• Выбор голоса – выберите из 30 голосов (см. раздел «Библиотека голосов» ниже). Каждый голос сопровождается стилем, полом и описанием.
• Системные инструкции – введите многострочную подсказку, определяющую поведение Gemini. Пример: «Вы — терпеливый и поддерживающий репетитор по математике для незрячих студентов. Объясняйте понятия шаг за шагом».
• Температура (креативность) – ползунок от 0,0 до 2,0. Меньшие значения дают более сфокусированные, фактические ответы. Большие — более креативные, неожиданные ответы.
• Включить поиск Google – позволяет Gemini получать актуальную информацию из интернета. Ответы могут содержать ссылки на источники.
• Включить выполнение кода – позволяет Gemini писать и выполнять код Python в изолированной среде. Полезно для вычислений, обработки данных или проверки логики.
• Ключ(и) API – введите один или несколько ключей Google API, по одному на строку. Дополнение будет пробовать ключи по порядку; если один не срабатывает, оно автоматически переходит к следующему.

Библиотека голосов (30+ естественных голосов)

Gemini Live предлагает широкий выбор высококачественных нейронных голосов. Каждый голос имеет уникальный идентификатор, стиль, пол и краткое описание. Ниже приведён полный список:

Zephyr – Яркий, Женский

Puck – Жизнерадостный, Мужской

Charon – Информативный, Мужской

Kore – Твёрдый, Женский

Fenrir – Возбудимый, Мужской

Leda – Юный, Женский

Orus – Твёрдый, Мужской

Aoede – Беззаботный, Женский

Callirrhoe – Неторопливый, Женский

Autonoe – Яркий, Женский

Enceladus – Дыхательный, Мужской

Iapetus – Чёткий, Мужской

Umbriel – Неторопливый, Мужской

Algieba – Плавный, Мужской

Despina – Плавный, Женский

Erinome – Чёткий, Женский

Algenib – Хриплый, Мужской

Rasalgethi – Информативный, Мужской

Laomedeia – Жизнерадостный, Женский

Achernar – Мягкий, Женский

Alnilam – Твёрдый, Мужской

Schedar – Ровный, Мужской

Gacrux – Зрелый, Женский

Pulcherrima – Прямолинейный, Женский

Achird – Дружелюбный, Мужской

Zubenelgenubi – Непринуждённый, Мужской

Vindemiatrix – Мягкий, Женский

Sadachbia – Живой, Мужской

Sadaltager – Осведомлённый, Мужской

Sulafat – Тёплый, Женский

Все голоса находятся на стороне сервера и не требуют локальной загрузки. Дополнение отправляет идентификатор голоса при каждом запросе сеанса.

Интерфейс живого разговора

Когда сеанс запущен, открывается главное окно разговора со следующими элементами:

• Ваше сообщение (многострочное текстовое поле) – введите сообщение, если предпочитаете текстовый ввод. Нажмите кнопку «Отправить» или просто говорите в микрофон.
• Кнопка «Отправить» – отправляет набранный текст Gemini. Голосовой ввод отправляется автоматически.
• Кнопка «Отключить микрофон» – временно отключает микрофон. ИИ может по-прежнему отвечать на введённые сообщения. Нажмите снова, чтобы включить.
• Кнопка «Завершить сеанс» – корректно завершает живой разговор, закрывает аудиопотоки и возвращает в главное окно.

Во время разговора:

• Говорите естественно. Нет режима «нажми и говори» – микрофон работает непрерывно, пока не отключён.
• Ответы Gemini воспроизводятся через динамики или наушники по умолчанию.
• Вы можете прервать ИИ, снова заговорив или отправив набранное сообщение.
• Все взаимодействия происходят в реальном времени; не нужно вручную переключать страницы или ждать обработки.

Когда вы завершаете сеанс, проигрывается звук SystemExit, и окно закрывается автоматически. История разговоров не сохраняется локально из соображений конфиденциальности.

Управление ключами API (ротация)

Дополнение поддерживает несколько ключей API для резервирования и обработки ограничений частоты запросов. Для настройки:

1. Откройте настройки из главного окна.

2. В поле «Ключ(и) API» вводите по одному ключу на строку, например:
   AIzaSyA1b2c3d4e5f6g7h8i9j0k1l2m3n4o5p6q7r8s9t
AIzaSyB2c3d4e5f6g7h8i9j0k1l2m3n4o5p6q7r8s9u

3. Сохраните настройки.

При запуске разговора дополнение пробует ключи по порядку. Если ключ не работает (недействителен, истёк, превышена квота или модель недоступна), оно автоматически переходит к следующему ключу с задержкой 0,5 секунды. В диалоговом окне прогресса показывается, какой ключ сейчас используется. Если все ключи не работают, появляется сообщение об ошибке.

Совет: Получите ключи API в Google AI Studio. Убедитесь, что ключи имеют доступ к «Live API» и выбранной вами модели. Действуют ограничения бесплатного тарифа.

Поиск Google и выполнение кода

Gemini Live может дополнительно использовать два мощных инструмента:

Поиск Google

При включении этой функции Gemini может выполнять поиск в интернете в реальном времени, чтобы отвечать на вопросы о текущих событиях, свежих данных или фактической информации. Это полезно для новостей, погоды, спортивных результатов, курсов акций или любых запросов, требующих актуальных знаний. ИИ обычно указывает источники в ответе.

Выполнение кода

При включении этой функции Gemini может писать и выполнять код Python в безопасной изолированной среде. Это идеально подходит для:

• Математических вычислений и решения формул
• Анализа данных или обработки CSV
• Тестирования алгоритмов или отладки логики
• Построения графиков или диаграмм (с текстовым описанием)

Код выполняется на стороне сервера в инфраструктуре Google и не имеет доступа к вашим локальным файлам. Результаты возвращаются в виде текста или аудиоописаний. Включайте эту функцию только при необходимости вычислительной помощи; она может увеличить задержку ответа.

Сочетания клавиш

программе)
NVDA+S| Начать живой разговор напрямую (с сохранёнными настройками)
Alt+F4 (в окне разговора)| Завершить сеанс и закрыть окно
Enter (в текстовом поле)| Отправить набранное сообщение (Shift+Enter — новая строка)
Escape (в любом диалоге)| Отменить или закрыть без применения
Ctrl+Tab / Ctrl+Shift+Tab| Переключение между вкладками диалога (окно настроек)

Все кнопки полностью доступны через навигацию по объектам NVDA и стандартную навигацию по клавише Tab.

Устранение неполадок

Нет звука или микрофон не работает: Убедитесь, что в настройках звука Windows правильно заданы устройства ввода и вывода по умолчанию. Дополнение использует PyAudio и обращается к системным микрофону и динамикам по умолчанию.

Не удаётся подключиться ни с одним ключом API: Проверьте, что каждый ключ API действителен, для него включена оплата (или действует бесплатный тариф) и есть доступ к выбранной live-модели. Для некоторых ключей может потребоваться включить Live API в Google Cloud Console.

Высокая задержка или прерывистый звук: Чаще всего это связано с сетью. Используйте стабильное широкополосное соединение. Выберите модель «flash-live- preview» для меньшей задержки.

Голос не соответствует выбранному: Некоторые идентификаторы голосов могут быть устаревшими или недоступными в вашем регионе. Попробуйте другой голос из библиотеки.

NVDA перестаёт отвечать при запуске сеанса: Подождите несколько секунд; дополнение пробует ключи API. Если проблема сохраняется, перезапустите NVDA и убедитесь, что ключи API указаны верно.

Поиск Google или выполнение кода не работают: Убедитесь, что вы включили эти функции в настройках до начала разговора. Их нельзя изменить во время сеанса.

Примечание: Вся аудиообработка (захват с микрофона и воспроизведение через динамики) использует частоту 16 кГц на входе и 24 кГц на выходе. Если возникает эхо или обратная связь, используйте наушники вместо динамиков.

Системные требования

• NVDA 2023.1 или новее
• Windows 10 или Windows 11 (рекомендуется 64-разрядная)
• Работоспособные микрофон и динамики/наушники
• Стабильное интернет-соединение (широкополосное, не менее 1 Мбит/с на загрузку и отдачу)
• Действительный ключ API Google Gemini с доступом к Live API
• Среда Python не требуется — дополнение включает все зависимости (pyaudio, google-genai и т.д.)

Поддержка и сообщество

Для получения помощи, отправки предложений или сообщения о проблемах:

• Присоединяйтесь к Telegram-каналу: https://t.me/blindtechvisionary
• Свяжитесь с автором напрямую через Telegram: @blindtechvisionary
• Проверьте диалог «О программе» внутри дополнения (главное окно → кнопка «О программе») для получения информации о версии и быстрых ссылок.

Ваши отзывы напрямую влияют на будущие обновления. Предложения по новым голосам, дополнительным инструментам или улучшению рабочих процессов всегда приветствуются.

Конфиденциальность и безопасность

Gemini Live для NVDA разработан с учётом конфиденциальности как основного принципа:

• Нет локального хранения разговоров – Аудио и текстовые данные передаются напрямую в API Google и не сохраняются на вашем компьютере после завершения сеанса.
• Ключи API хранятся локально – Ключи сохраняются в виде открытого текста в файле %APPDATA%\gemini-live-application\settings.ini. Если вы беспокоитесь о раскрытии ключей, защитите компьютер надёжным паролем.
• Нет телеметрии использования – Дополнение не собирает никаких аналитических данных, отчётов о сбоях или статистики использования.
• Обработка данных Google – Аудио и текст, отправляемые в API Google, подпадают под действие политики конфиденциальности Google. Подробнее см. Политику конфиденциальности Google.
• Работа в автономном режиме – Само дополнение не содержит сетевых служб, кроме подключения к API Google. Сторонние серверы не используются.

Для максимальной конфиденциальности избегайте передачи личной или финансовой информации во время разговоров, как и при использовании любого облачного ИИ- сервиса.

Важно: Это дополнение не связано с Google. «Gemini» и «Google» являются товарными знаками Google LLC. Дополнение использует официальные клиентские библиотеки Google Generative AI.

Gemini Live для NVDA – Версия 1.0 – Создано для естественной голосовой ИИ- помощи.

Автор: Sujan Rai | Telegram: @blindtechvisionary