Как повторить
- Откройте страницу Foresight и скачайте установщик. Google пишет только, что приложение оптимизировано под Apple Silicon. Независимые обзоры называют Mac на M1 и новее и пишут, что Intel-маки не поддерживаются, но насчёт минимального чипа они расходятся.
- При установке приложение предложит размер модели Gemma 4 под объём памяти вашего Mac. Крупная модель пишет заметки точнее, но дольше скачивается и занимает больше места на диске и в оперативной памяти. Вместе с EmbeddingGemma 2, моделью для поиска по файлам, скачивание превышает 800 МБ. Точный объём зависит от выбранного размера Gemma 4.
- Разрешите доступ к микрофону и записи системного звука. Без этого приложение не услышит ни вас, ни собеседника в Zoom или Meet.
- Подключите источники: локальные папки, Google Drive, календарь. Из материалов подходят PDF, Google Docs, офисные файлы, текст, Markdown и веб-закладки. Приложение само их индексирует, то есть готовит к поиску.
- Во время звонка печатайте тезисы в окне заметок, а Foresight параллельно ведёт расшифровку. В режиме live assistance, то есть подсказок по ходу разговора, оно показывает карточку с точной цитатой, когда звучит тема из ваших документов.
- После звонка откроется экран из двух колонок: слева ваши заметки, справа дописанные моделью. Там же есть чат для вопросов по встрече и вашим файлам.
Как проверить результат
Начните звонок в Zoom с самим собой, напечатайте короткий тезис и развёрнуто проговорите его вслух. Через несколько секунд тезис должен обрасти деталями из вашей речи. Затем положите в подключённую папку PDF с незнакомым термином и произнесите этот термин: должна появиться карточка с цитатой из файла. Если карточки нет, индексация ещё не закончилась или формат файла не поддерживается.
Как это устроено
Обе модели работают прямо на Mac через runtime LiteRT, поэтому вести звонок можно без интернета. EmbeddingGemma 2 переводит фразы из разговора и фрагменты ваших документов в числовые описания смысла. Приложение сравнивает их и при похожем смысле показывает карточку с цитатой. Gemma 4 разворачивает вашу короткую пометку в подробный текст и опирается при этом на живую расшифровку.
Ссылки
- Google Foresight: страница продукта с FAQ и кнопкой «Download for macOS» — она ведёт на установщик .dmg весом около 150 МБ. Бесплатно, без подписки и регистрации.
- Анонс в блоге Google: подробное описание функций Foresight и модели EmbeddingGemma 2. Бесплатная статья.
Источник: канал @exploitex в Telegram, по мотивам анонса Google.