Published on:
Apple презентує наступне покоління Vision Pro Persona та архітектуру чіпа M5 у рідкісній технічній дискусії
Apple запропонувала незвично детальний погляд у майбутнє Vision Pro, розкривши основні оновлення своєї системи Persona, роль майбутнього чипа M5 та ширший напрямок діяльності компанії в галузі просторових обчислень і ШІ на пристроях.
Ці дані з’явилися в результаті рідкісного технічного обміну між медіа та двома ключовими керівниками команди Vision Pro, що дає чіткіше уявлення про те, як Apple перетворює Vision Pro на довгострокову платформу для просторових обчислень.
Persona робить значний стрибок завдяки 3D Gaussian Splatting
Після релізу visionOS 2.0 користувачі помітили значне покращення реалістичності Persona. В основі цього оновлення лежить відносно нова техніка рендерингу, відома як 3D Gaussian Splatting (3DGS).
На відміну від традиційної комп’ютерної графіки, яка покладається на вручну побудовані полігональні сітки, 3DGS працює шляхом вивчення геометрії безпосередньо із захоплених зображень. Система записує відео з кількох ракурсів і виводить структуру обличчя як сукупність об’ємних елементів Гаусса — точок еліпсоїдної форми з положенням, масштабом і прозорістю.
Apple підтвердила, що Persona тепер використовує підхід, заснований виключно на Гауссі, без гібридної геометрії сіток, що дозволяє досягти надзвичайно природних кольорових переходів і деталізації поверхні, які важко відтворити за допомогою сіток.
Від аватарів FaceTime до цифрової ідентичності
Довгострокове бачення Apple щодо Persona виходить за рамки простих відеодзвінків. Persona розробляється як цифрове представлення особистості, інтегроване безпосередньо в тривимірні середовища.
Компанія також виділила HUGS (Human Gaussian Splatting) — проєкт із відкритим вихідним кодом, який розширює цю техніку на аватари в повний зріст. Ці представлення можуть бути оснащені скелетною анімацією, що забезпечує імерсивну телеприсутність, де учасники з’являються як повномасштабні просторові аватари в реальному середовищі один одного.
Чип M5: нова архітектура GPU, створена для ШІ + графіки
Чип M5 забезпечує найбільш значущі переваги завдяки архітектурним змінам, а не простому масштабуванню. Вперше кожне ядро GPU містить виділений нейронний прискорювач.
Ці прискорювачі на рівні GPU розроблені спеціально для робочих навантажень fusion-графіки та ШІ, таких як:
- ШІ-шумозаглушення
- Суперроздільна здатність відео
- Генерація кадрів
- Розширені ефекти рендерингу
Раніше дані мали багаторазово переміщуватися між GPU та NPU. З M5 ці операції можуть бути повністю завершені в межах GPU, що зменшує затримку та покращує ефективність для просторових завдань у реальному часі.
Чому Vision Pro отримує найбільше переваг від M5
Хоча переваги на стандартних ноутбуках можуть бути ледь помітними, Vision Pro є основним бенефіціаром архітектури M5. Як гарнітура наскрізного відео (VST), вона постійно виконує інтенсивні ШІ-завдання, зокрема:
- SLAM (одночасна локалізація та картографування)
- Розуміння навколишнього середовища
- ШІ-шумозаглушення для наскрізного режиму
- Рендеринг Persona
Майже всі ці робочі навантаження точно відповідають дизайну GPU з підтримкою ШІ в M5, забезпечуючи плавний та високоякісний просторовий досвід.
Ширша філософія ШІ від Apple
Apple підтвердила, що її стратегія зосереджена на інтелекті, орієнтованому на пристрій — побудові стійких персональних моделей світу, які поєднують візуальні дані, дані про рух і просторове розуміння.
Проєкти, такі як FastVLM, модель зору та мови з відкритим вихідним кодом, ілюструють цей напрямок, пропонуючи швидке виведення з низьким енергоспоживанням для інтелекту в реальному часі з урахуванням контексту. Це утворює замкнене коло: реальний світ векторизується, інтерпретується ШІ та проєктується назад в імерсивний просторовий досвід.
Технологія, сприйняття та майбутнє
Дорожня карта Apple для Vision Pro вказує на глибші амбіції: змінити те, як люди сприймають реальність і взаємодіють з нею за допомогою обчислень. Поєднуючи просторовий ШІ, реалістичне цифрове втілення та спеціально розроблене обладнання, Apple позиціонує Vision Pro як щось більше, ніж гарнітура — це експеримент у тому, як цифрові системи можуть доповнювати саме людське сприйняття.
