Повідомлення Microsoft, анонсоване напередодні , може здатися дещо загрозливим: “Захопливий крок вперед з новою хвилею оновлень, які перетворюють кожен ПК з Windows 11 на ПК зі штучним інтелектом”.
У своєму блозі Microsoft представляє перетворення Windows 11 на таку собі “Windows Copilot”, за допомогою інструментів штучного інтелекту. Операційна система отримає безліч агентських та допоміжних функцій ШІ. Підхід компанії до “покращення” взаємодії користувача та комп’ютера базується на наступних принципах.
“По-перше, ви повинні мати можливість взаємодіяти з ним природним чином, текстовим або голосовим способом, щоб він вас зрозумів.
По-друге, він повинен бачити те, що бачите ви, і мати можливість пропонувати керовану підтримку.
І по-третє, він повинен мати можливість діяти від вашого імені.
Все з вашого дозволу та на базі безпеки Windows 11”.
Microsoft вважає, що новий спосіб спілкування з ПК принесе такі ж зміни “для найширшого кола людей”, як поява клавіатури та миші свого часу. Компанія заявляє, що 68% споживачів повідомляють про використання штучного інтелекту для підтримки прийняття рішень, а писати текст довго і нудно, тож голосові команди спрощують взаємодію з комп’ютером.
“Чарівна перевага Copilot Voice та Copilot Vision полягає у легкості взаємодії. Завдяки новому дзвінку “Hey Copilot” (“Привіт, Copilot”) виконання будь-якої дії таке ж просте, як і запит. З вашого дозволу Copilot Vision може аналізувати те, що відображається на екрані, допомагаючи вам вивчати нові програми, отримувати рекомендації щодо проєкту або показати, як це зробити”, — анонсує Microsoft назви нових інструментів та переходить до опису їхніх функцій.
Запити “Hey Copilot” у Windows 11
Далі компанія стверджує, що люди вже щодня розмовляють зі своїми ПК, коли надиктовують нотатки, щось шукають тощо. Безумовно, це зручна можливість для багатьох — але не для всіх і не за будь-яких умов, іноді це просто неможливо через обставини.
“Ми бачимо, що коли люди використовують голос, вони взаємодіють з Copilot вдвічі частіше, ніж коли вони використовують текст. Ця простота використання призводить до глибшої взаємодії з Copilot”.
Windows 11 розумітиме спеціальні голосові команди для старту або зупинки голосової взаємодії з Copilot. Робота помічника ШІ розпочинатиметься звичним для користувачів програмних асистентів способом: з фрази “Hey, Copilot…” або її аналогу іншою мовою, коли це буде можливо.
“Ви побачите на екрані мікрофон Copilot разом зі звуковим сигналом, який сповіщатиме, що Copilot слухає. Щоб завершити розмову, ви можете сказати “Goodbye”(“До побачення”), натиснути “X”, або Copilot автоматично завершить розмову через кілька секунд бездіяльності. Ви почуєте звуковий сигнал, який підтверджує завершення розмови.”
Copilot Vision доступна скрізь, де працює Copilot
Ця нова можливість включає “повний спільний доступ до робочого столу та програм”. Коли користувач надає програмі допуск, Copilot може допомогти проаналізувати контент, надати аналітику та відповісти на запитання, “навчаючи вас вголос”.
Функція Highlights дозволить запитати в Copilot “покажи мені, як” щось зробити — і він покаже це безпосередньо у вікнах програм. Microsoft наводить вдалий приклад з редагуванням фото, котре може бути складним. Copilot також зможе попрацювати за користувача у Word, Excel або PowerPoint. Знову ж, наведений вдалий приклад із резюмуванням довгих презентацій, кожен з багатьох слайдів яких містить вкрай мало інформації.
На щастя, Microsoft не забула про тих, кому більше подобається текстове спілкування. Незабаром у програмі Windows Insiders розпочнеться тестування текстового вводу у Copilot Vision, з такими ж відповідями.
Пошук на панелі завдань стає Copilot
Поле пошуку знизу екрана стає інструментом взаємодії з помічником ШІ. Ця зміна зможе зробити з нього насправді корисний інструмент. Але тільки за підпискою , як зазначає Microsoft у блозі.
“Наше бачення просте, але сміливе: зробити панель завдань динамічним центром, який допоможе вам досягати більшого з меншими зусиллями, перетворюючи щоденні взаємодії на моменти продуктивності та задоволення. Цей інтерфейс, що вимагає попередньої підписки, забезпечує доступ до Copilot Vision та Voice одним клацанням”.
Новий інтерфейс взаємодії використовує наявні API Windows і не надає Copilot підвищеного доступу до контенту, за запевненням компанії.
Copilot Actions від імені користувача
Copilot Labs у програмі Windows Insiders отримає експериментальну можливість виходу Copilot за межі браузера та роботи як агента з локальними файлами та програмами Windows.
“Незалежно від того, чи потрібна вам допомога у сортуванні фотографій з відпустки, або витягненні інформації з PDF-файлу, Copilot Actions може виконати важку роботу за вас, виходячи з контексту того, що знаходиться на вашому ПК, як агент універсального призначення. Просто опишіть завдання, яке ви хочете виконати, своїми словами, і агент спробує виконати його, взаємодіючи з настільними та вебзастосунками”.
Компанія слушно зауважує, що під час виконання цих завдань користувач може зосередитися на іншій роботі, у будь-який час маючи можливість втрутитися у процес для керування або перевірки стану. Перелік доступних можливостей інструменту спочатку буде обмеженим і розширюватиметься з часом. Microsoft підкреслює важливість ретельного тестування таких функцій у реальних умовах перед запуском.
Copilot connectors
Так звані конектори Copilot відтепер доступні для учасників програми Windows Insider. Вони дозволяють напряму підключати зовнішні служби, як файли OneDrive, контакти Outlook, електронні листи та події календаря, Google Диск, Gmail тощо до Copilot у Windows. Відповідно, агент штучного інтелекту зможе працювати із зовнішніми файлами.
Відповідно новим можливостям, Copilot зможе стати ефективним помічником та довідником, спираючись на зовнішні дані. Замість шукати інформацію у файлах чи базах даних перелічених й інших сервісів, можна буде просто запитати та одразу отримати відповідь. Локальні дії також входять до можливостей Copilot connectors.
“Ми також додаємо інтеграцію з Copilot у Windows за допомогою налаштувань Windows. Просто поставте Copilot запитання про налаштування вашого ПК з Windows своїми словами, і ви отримаєте пряме посилання на відповідні налаштування. Тож тепер ви можете віддавати вказівки, наприклад, ”Зроби мій екран легшим для читання”, чи ”допоможи мені зосередитися, зменшивши фактори, що відвертають увагу”, і Copilot проведе вас до відповідної сторінки налаштувань Windows”.
Zoom у Copilot+, агент Manus AI та ШІ-реактор Filmora
Microsoft не тільки розширює можливості Copilot, але й надає альтернативні шляхи. Manus — універсальний агент штучного інтелекту, який може виконувати різні завдання на ПК. Manus також доступний як програма для Windows. Доступ для виконання тих самих функцій можна отримати просто з вікна чату застосунку.
“Завдяки новій можливості Manus AI у “Провіднику” файлів ви можете отримати допомогу зі складними завданнями, такими як створення вебсайту з використанням документів у вашій локальній теці, лише одним клацанням миші. Просто виберіть документ, клацніть правою кнопкою та оберіть “творити вебсайт за допомогою Manus”, і Manus створить для вас сайт за лічені хвилини — без навантаження та кодування”.
Також Microsoft анонсувала агент “Провідника” Filmora, “що дозволить вам легко та безперешкодно перейти до редагування відео” та інтеграцію Zoom на Copilot+ PC у функцію “Click to Do”. компані я нагадала про функцію Gaming Copilot, котра запускається кнопкою на Asus ROG Xbox Ally та ROG Xbox Ally X та дозволяє “отримати рекомендації, допомогу тощо, не виходячи з гри’”.
Безпека
Microsoft оголошує три принципи роботи ШІ на ПК, котрих дотримується у реалізації Copilot Actions та інших розумних функцій.
-
“Ви завжди контролюєте, що може робити Copilot Actions. Copilot Actions вимкнено за замовчуванням, і ви можете призупинити, взяти під контроль або вимкнути їх у будь-який час.Ви матимете уявлення про те, що роблять Copilot Actions.
-
Ви зможете відстежувати їхній прогрес і бути в курсі кожного кроку. Якщо йдеться про делікатне або важливе рішення, система може запитувати ваше схвалення для конкретної дії, дозволяючи вам контролювати ситуацію.
-
Ми впроваджуємо їх відповідально. Окрім масштабного внутрішнього тестування, критичним аспектом розробки безпечного інтерфейсу є його відповідальне впровадження, починаючи з попереднього перегляду та збирання відгуки для вдосконалення наших засобів контролю безпеки та конфіденційності”.
Компанія підготувала окрему статтю “Захист агентів штучного інтелекту у Windows”, яка детальніше розкриває конкретні нюанси. Microsoft анонсує додаткову інформацію про безпеку агентів ШІ у Windows на конференції Microsoft Ignite наступного місяця.
https://itc.ua/ua/statti/shindovs-u-vsij-krasi-yak-microsoft-pererobyt-windows-11-pid-copilot/
