Goodtech

Метка: Copilot+ PC

  • ИИндовс во всей красе: как Microsoft переделает Windows 11 под Copilot

    ИИндовс во всей красе: как Microsoft переделает Windows 11 под Copilot

    Сообщение Microsoft, анонсированное накануне , может показаться несколько угрожающим: «Захватывающий шаг вперед с новой волной обновлений, которые превращают каждый ПК с Windows 11 на ПК с искусственным интеллектом».

    В своем блоге Microsoft представляет превращение Windows 11 в некую «Windows Copilot», с помощью инструментов искусственного интеллекта. Операционная система получит множество агентских и вспомогательных функций ИИ. Подход компании к «улучшению» взаимодействия пользователя и компьютера базируется на следующих принципах.

    «Во-первых, вы должны иметь возможность взаимодействовать с ним естественным образом, текстовым или голосовым способом, чтобы он вас понял.

    Во-вторых, он должен видеть то, что видите вы, и иметь возможность предлагать управляемую поддержку.

    И в-третьих, он должен иметь возможность действовать от вашего имени.

    Все с вашего разрешения и на базе безопасности Windows 11».

    Microsoft считает, что новый способ общения с ПК принесет такие же изменения «для широкого круга людей», как появление клавиатуры и мыши в свое время. Компания заявляет, что 68% потребителей сообщают об использовании искусственного интеллекта для поддержки принятия решений, а писать текст долго и скучно, поэтому голосовые команды упрощают взаимодействие с компьютером.

    «Волшебное преимущество Copilot Voice и Copilot Vision заключается в легкости взаимодействия. Благодаря новому звонку «Hey Copilot» («Привет, Copilot») выполнение любого действия такое же простое, как и запрос. С вашего разрешения Copilot Vision может анализировать то, что отображается на экране, помогая вам изучать новые программы, получать рекомендации по проекту или показать, как это сделать», — анонсирует Microsoft названия новых инструментов и переходит к описанию их функций.

    Запросы «Hey Copilot» в Windows 11

    Далее компания утверждает, что люди уже ежедневно разговаривают со своими ПК, когда надиктовывают заметки, что-то ищут и тому подобное. Безусловно, это удобная возможность для многих — но не для всех и не при любых условиях, иногда это просто невозможно в силу обстоятельств.

    «Мы видим, что когда люди используют голос, они взаимодействуют с Copilot вдвое чаще, чем когда они используют текст. Эта простота использования приводит к более глубокому взаимодействию с Copilot».

    Windows 11 будет понимать специальные голосовые команды для старта или остановки голосового взаимодействия с Copilot. Работа помощника ИИ будет начинаться привычным для пользователей программных ассистентов способом: с фразы «Hey, Copilot…» или ее аналога на другом языке, когда это будет возможно.

    «Вы увидите на экране микрофон Copilot вместе со звуковым сигналом, который будет сообщать, что Copilot слушает. Чтобы завершить разговор, вы можете сказать «Goodbye» («До свидания»), нажать «X», или Copilot автоматически завершит разговор через несколько секунд бездействия. Вы услышите звуковой сигнал, подтверждающий завершение разговора.»

    Copilot Vision доступна везде, где работает Copilot

    Эта новая возможность включает «полный совместный доступ к рабочему столу и приложениям». Когда пользователь предоставляет программе допуск, Copilot может помочь проанализировать контент, предоставить аналитику и ответить на вопросы, «обучая вас вслух».

    Функция Highlights позволит спросить у Copilot «покажи мне, как» что-то сделать — и он покажет это непосредственно в окнах программ. Microsoft приводит удачный пример с редактированием фото, которое может быть сложным. Copilot также сможет поработать за пользователя в Word, Excel или PowerPoint. Опять же, приведен удачный пример с резюмированием длинных презентаций, каждый из многих слайдов которых содержит крайне мало информации.

    К счастью, Microsoft не забыла о тех, кому больше нравится текстовое общение. Вскоре в программе Windows Insiders начнется тестирование текстового ввода в Copilot Vision, с такими же ответами.

    Поиск на панели задач становится Copilot

    Поле поиска снизу экрана становится инструментом взаимодействия с помощником ИИ. Это изменение сможет сделать из него на самом деле полезный инструмент. Но только по подписке , как отмечает Microsoft в блоге.

    «Наше видение простое, но смелое: сделать панель задач динамическим центром, который поможет вам достигать большего с меньшими усилиями, превращая ежедневные взаимодействия в моменты продуктивности и удовольствия. Этот интерфейс, требующий предварительной подписки, обеспечивает доступ к Copilot Vision и Voice одним щелчком».

    Новый интерфейс взаимодействия использует имеющиеся API Windows и не предоставляет Copilot повышенного доступа к контенту, по заверению компании.

    Copilot Actions от имени пользователя

    Copilot Labs в программе Windows Insiders получит экспериментальную возможность выхода Copilot за пределы браузера и работы в качестве агента с локальными файлами и приложениями Windows.

    «Независимо от того, нужна ли вам помощь в сортировке фотографий из отпуска, или извлечении информации из PDF-файла, Copilot Actions может выполнить тяжелую работу за вас, исходя из контекста того, что находится на вашем ПК, как агент универсального назначения. Просто опишите задачу, которую вы хотите выполнить, своими словами, и агент попытается выполнить ее, взаимодействуя с настольными и веб-приложениями».

    Компания справедливо замечает, что во время выполнения этих задач пользователь может сосредоточиться на другой работе, в любое время имея возможность вмешаться в процесс для управления или проверки состояния. Перечень доступных возможностей инструмента сначала будет ограниченным и будет расширяться со временем. Microsoft подчеркивает важность тщательного тестирования таких функций в реальных условиях перед запуском.

    Copilot connectors

    Так называемые коннекторы Copilot отныне доступны для участников программы Windows Insider. Они позволяют напрямую подключать внешние службы, как файлы OneDrive, контакты Outlook, электронные письма и события календаря, Google Диск, Gmail и т.д. к Copilot в Windows. Соответственно, агент искусственного интеллекта сможет работать с внешними файлами.

    Согласно новым возможностям, Copilot сможет стать эффективным помощником и справочником, опираясь на внешние данные. Вместо искать информацию в файлах или базах данных перечисленных и других сервисов, можно будет просто спросить и сразу получить ответ. Локальные действия также входят в возможности Copilot connectors.

    «Мы также добавляем интеграцию с Copilot в Windows с помощью настроек Windows. Просто задайте Copilot вопрос о настройке вашего ПК с Windows своими словами, и вы получите прямую ссылку на соответствующие настройки. Так что теперь вы можете отдавать указания, например, «Сделай мой экран легче для чтения», или «помоги мне сосредоточиться, уменьшив факторы, отвлекающие внимание», и Copilot проведет вас к соответствующей странице настроек Windows».

    Zoom в Copilot+, агент Manus AI и ИИ-реактор Filmora

    Microsoft не только расширяет возможности Copilot, но и предоставляет альтернативные пути. Manus — универсальный агент искусственного интеллекта, который может выполнять различные задачи на ПК. Manus также доступен как приложение для Windows. Доступ для выполнения тех же функций можно получить просто из окна чата приложения.

    «Благодаря новой возможности Manus AI в «Проводнике» файлов вы можете получить помощь со сложными задачами, такими как создание веб-сайта с использованием документов в вашей локальной папке, только одним щелчком мыши. Просто выберите документ, щелкните правой кнопкой и выберите «создавать веб-сайт с помощью Manus», и Manus создаст для вас сайт за считанные минуты — без нагрузки и кодирования».

    Также Microsoft анонсировала агент «Проводника» Filmora, «что позволит вам легко и беспрепятственно перейти к редактированию видео» и интеграцию Zoom на Copilot+ PC в функцию «Click to Do». компания напомнила о функции Gaming Copilot, которая запускается кнопкой на Asus ROG Xbox Ally и ROG Xbox Ally X и позволяет «получить рекомендации, помощь и т.д., не выходя из игры».

    Безопасность

    Microsoft объявляет три принципа работы ИИ на ПК, которых придерживается в реализации Copilot Actions и других умных функций.

    • «Вы всегда контролируете, что может делать Copilot Actions. Copilot Actions отключены по умолчанию, и вы можете приостановить, взять под контроль или отключить их в любое время.Вы будете иметь представление о том, что делают Copilot Actions.
    • Вы сможете отслеживать их прогресс и быть в курсе каждого шага. Если речь идет о деликатном или важном решении, система может запрашивать ваше одобрение для конкретного действия, позволяя вам контролировать ситуацию.
    • Мы внедряем их ответственно. Кроме масштабного внутреннего тестирования, критическим аспектом разработки безопасного интерфейса является его ответственное внедрение, начиная с предварительного просмотра и сбора отзывов для совершенствования наших средств контроля безопасности и конфиденциальности».

    Компания подготовила отдельную статью «Защита агентов искусственного интеллекта в Windows», которая подробнее раскрывает конкретные нюансы. Microsoft анонсирует дополнительную информацию о безопасности агентов ИИ в Windows на конференции Microsoft Ignite в следующем месяце.

    https://itc.ua/stati/yyndovs-vo-vsej-krase-kak-microsoft-peredelaet-windows-11-pod-copilot/

  • ШІндовс у всій красі: як Microsoft переробить Windows 11 під Copilot

    ШІндовс у всій красі: як Microsoft переробить Windows 11 під Copilot

    Повідомлення Microsoft, анонсоване напередодні , може здатися дещо загрозливим: “Захопливий крок вперед з новою хвилею оновлень, які перетворюють кожен ПК з Windows 11 на ПК зі штучним інтелектом”.

    У своєму блозі Microsoft представляє перетворення Windows 11 на таку собі “Windows Copilot”, за допомогою інструментів штучного інтелекту. Операційна система отримає безліч агентських та допоміжних функцій ШІ. Підхід компанії до “покращення” взаємодії користувача та комп’ютера базується на наступних принципах.

    “По-перше, ви повинні мати можливість взаємодіяти з ним природним чином, текстовим або голосовим способом, щоб він вас зрозумів.

    По-друге, він повинен бачити те, що бачите ви, і мати можливість пропонувати керовану підтримку.

    І по-третє, він повинен мати можливість діяти від вашого імені.

    Все з вашого дозволу та на базі безпеки Windows 11”.

    Microsoft вважає, що новий спосіб спілкування з ПК принесе такі ж зміни “для найширшого кола людей”, як поява клавіатури та миші свого часу. Компанія заявляє, що 68% споживачів повідомляють про використання штучного інтелекту для підтримки прийняття рішень, а писати текст довго і нудно, тож голосові команди спрощують взаємодію з комп’ютером.

    “Чарівна перевага Copilot Voice та Copilot Vision полягає у легкості взаємодії. Завдяки новому дзвінку “Hey Copilot” (“Привіт, Copilot”) виконання будь-якої дії таке ж просте, як і запит. З вашого дозволу Copilot Vision може аналізувати те, що відображається на екрані, допомагаючи вам вивчати нові програми, отримувати рекомендації щодо проєкту або показати, як це зробити”, — анонсує Microsoft назви нових інструментів та переходить до опису їхніх функцій.

    Запити “Hey Copilot” у Windows 11

    Далі компанія стверджує, що люди вже щодня розмовляють зі своїми ПК, коли надиктовують нотатки, щось шукають тощо. Безумовно, це зручна можливість для багатьох — але не для всіх і не за будь-яких умов, іноді це просто неможливо через обставини.

    “Ми бачимо, що коли люди використовують голос, вони взаємодіють з Copilot вдвічі частіше, ніж коли вони використовують текст. Ця простота використання призводить до глибшої взаємодії з Copilot”.

    Windows 11 розумітиме спеціальні голосові команди для старту або зупинки голосової взаємодії з Copilot. Робота помічника ШІ розпочинатиметься звичним для користувачів програмних асистентів способом: з фрази “Hey, Copilot…” або її аналогу іншою мовою, коли це буде можливо.

    “Ви побачите на екрані мікрофон Copilot разом зі звуковим сигналом, який сповіщатиме, що Copilot слухає. Щоб завершити розмову, ви можете сказати “Goodbye”(“До побачення”), натиснути “X”, або Copilot автоматично завершить розмову через кілька секунд бездіяльності. Ви почуєте звуковий сигнал, який підтверджує завершення розмови.”

    Copilot Vision доступна скрізь, де працює Copilot

    Ця нова можливість включає “повний спільний доступ до робочого столу та програм”. Коли користувач надає програмі допуск, Copilot може допомогти проаналізувати контент, надати аналітику та відповісти на запитання, “навчаючи вас вголос”.

    Функція Highlights дозволить запитати в Copilot “покажи мені, як” щось зробити — і він покаже це безпосередньо у вікнах програм. Microsoft наводить вдалий приклад з редагуванням фото, котре може бути складним. Copilot також зможе попрацювати за користувача у Word, Excel або PowerPoint. Знову ж, наведений вдалий приклад із резюмуванням довгих презентацій, кожен з багатьох слайдів яких містить вкрай мало інформації.

    На щастя, Microsoft не забула про тих, кому більше подобається текстове спілкування. Незабаром у програмі Windows Insiders розпочнеться тестування текстового вводу у Copilot Vision, з такими ж відповідями.

    Пошук на панелі завдань стає Copilot

    Поле пошуку знизу екрана стає інструментом взаємодії з помічником ШІ. Ця зміна зможе зробити з нього насправді корисний інструмент. Але тільки за підпискою , як зазначає Microsoft у блозі.

    “Наше бачення просте, але сміливе: зробити панель завдань динамічним центром, який допоможе вам досягати більшого з меншими зусиллями, перетворюючи щоденні взаємодії на моменти продуктивності та задоволення. Цей інтерфейс, що вимагає попередньої підписки, забезпечує доступ до Copilot Vision та Voice одним клацанням”.

    Новий інтерфейс взаємодії використовує наявні API Windows і не надає Copilot підвищеного доступу до контенту, за запевненням компанії.

    Copilot Actions від імені користувача

    Copilot Labs у програмі Windows Insiders отримає експериментальну можливість виходу Copilot за межі браузера та роботи як агента з локальними файлами та програмами Windows.

    “Незалежно від того, чи потрібна вам допомога у сортуванні фотографій з відпустки, або витягненні інформації з PDF-файлу, Copilot Actions може виконати важку роботу за вас, виходячи з контексту того, що знаходиться на вашому ПК, як агент універсального призначення. Просто опишіть завдання, яке ви хочете виконати, своїми словами, і агент спробує виконати його, взаємодіючи з настільними та вебзастосунками”.

    Компанія слушно зауважує, що під час виконання цих завдань користувач може зосередитися на іншій роботі, у будь-який час маючи можливість втрутитися у процес для керування або перевірки стану. Перелік доступних можливостей інструменту спочатку буде обмеженим і розширюватиметься з часом. Microsoft підкреслює важливість ретельного тестування таких функцій у реальних умовах перед запуском.

    Copilot connectors

    Так звані конектори Copilot відтепер доступні для учасників програми Windows Insider. Вони дозволяють напряму підключати зовнішні служби, як файли OneDrive, контакти Outlook, електронні листи та події календаря, Google Диск, Gmail тощо до Copilot у Windows. Відповідно, агент штучного інтелекту зможе працювати із зовнішніми файлами.

    Відповідно новим можливостям, Copilot зможе стати ефективним помічником та довідником, спираючись на зовнішні дані. Замість шукати інформацію у файлах чи базах даних перелічених й інших сервісів, можна буде просто запитати та одразу отримати відповідь. Локальні дії також входять до можливостей Copilot connectors.

    “Ми також додаємо інтеграцію з Copilot у Windows за допомогою налаштувань Windows. Просто поставте Copilot запитання про налаштування вашого ПК з Windows своїми словами, і ви отримаєте пряме посилання на відповідні налаштування. Тож тепер ви можете віддавати вказівки, наприклад, ”Зроби мій екран легшим для читання”, чи ”допоможи мені зосередитися, зменшивши фактори, що відвертають увагу”, і Copilot проведе вас до відповідної сторінки налаштувань Windows”.

    Zoom у Copilot+, агент Manus AI та ШІ-реактор Filmora

    Microsoft не тільки розширює можливості Copilot, але й надає альтернативні шляхи. Manus — універсальний агент штучного інтелекту, який може виконувати різні завдання на ПК. Manus також доступний як програма для Windows. Доступ для виконання тих самих функцій можна отримати просто з вікна чату застосунку.

    “Завдяки новій можливості Manus AI у “Провіднику” файлів ви можете отримати допомогу зі складними завданнями, такими як створення вебсайту з використанням документів у вашій локальній теці, лише одним клацанням миші. Просто виберіть документ, клацніть правою кнопкою та оберіть “творити вебсайт за допомогою Manus”, і Manus створить для вас сайт за лічені хвилини — без навантаження та кодування”.

    Також Microsoft анонсувала агент “Провідника” Filmora, “що дозволить вам легко та безперешкодно перейти до редагування відео” та інтеграцію Zoom на Copilot+ PC у функцію “Click to Do”. компані я нагадала про функцію Gaming Copilot, котра запускається кнопкою на Asus ROG Xbox Ally та ROG Xbox Ally X та дозволяє “отримати рекомендації, допомогу тощо, не виходячи з гри’”.

    Безпека

    Microsoft оголошує три принципи роботи ШІ на ПК, котрих дотримується у реалізації Copilot Actions та інших розумних функцій.

    • “Ви завжди контролюєте, що може робити Copilot Actions. Copilot Actions вимкнено за замовчуванням, і ви можете призупинити, взяти під контроль або вимкнути їх у будь-який час.Ви матимете уявлення про те, що роблять Copilot Actions.
    • Ви зможете відстежувати їхній прогрес і бути в курсі кожного кроку. Якщо йдеться про делікатне або важливе рішення, система може запитувати ваше схвалення для конкретної дії, дозволяючи вам контролювати ситуацію.
    • Ми впроваджуємо їх відповідально. Окрім масштабного внутрішнього тестування, критичним аспектом розробки безпечного інтерфейсу є його відповідальне впровадження, починаючи з попереднього перегляду та збирання відгуки для вдосконалення наших засобів контролю безпеки та конфіденційності”.

    Компанія підготувала окрему статтю “Захист агентів штучного інтелекту у Windows”, яка детальніше розкриває конкретні нюанси. Microsoft анонсує додаткову інформацію про безпеку агентів ШІ у Windows на конференції Microsoft Ignite наступного місяця.

    https://itc.ua/ua/statti/shindovs-u-vsij-krasi-yak-microsoft-pererobyt-windows-11-pid-copilot/