Apple проигрывает войну моделей искусственного интеллекта. Парадоксально, но она может выиграть войну, запустив их дома

Для тех из нас, кто увлечен искусственным интеллектом, то, что вчера сделала Apple, было одновременно чудесным и печальным. Замечательно, потому что она представила исключительные машины, которые явно претендуют на звание лучших беговых дорожек для моделей искусственного интеллекта в домашних условиях. И печально, потому что доступ к таким машинам доступен не всем.

Что любопытно, так это сообщение, которое сыграло главную роль в этом выпуске: эти компьютеры Mac больше не являются теми машинами, которые очаровывали профессионалов в области фотографии или редактирования видео: они идеальные звери для запуска вышеупомянутых моделей с искусственным интеллектом на месте. Частный, эффективный и сверхтихий ИИ.

И это серьезный поворот, потому что у Apple, возможно, нет (на данный момент) лучшей модели искусственного интеллекта в отрасли, но то, что у нее есть, без сомнения, — это лучшая беговая дорожка для местных моделей искусственного интеллекта.

Большая удача Apple: унифицированная память

Давайте на мгновение отправимся в прошлое. Когда компания представила революционные модели Apple M1 в 2020 году, мы все очень внимательно следили за замечательной эффективностью этих процессоров и их производительностью на ватт, но не многие (да, мы) придавали слишком большое значение унифицированной памяти.

Но дело в том, что был 2020 год, и наличие большого количества видеопамяти не было особенно важно для 99,99% пользователей. RTX 3090 и его 24 ГБ памяти GDDR6X казались нам чудовищными, и большинство из нас уже довольствовались 8 ГБ графической памяти RTX 3070. RTX 3080 пошел немного дальше с 10 ГБ, и нам этого снова показалось более чем достаточно.

Все изменилось 30 ноября 2022 года с появлением ChatGPT. Мы даже не знали об этом, но этот запуск станет не только спусковым крючком для моделей искусственного интеллекта в облаке, но и для тех, которые могут работать локально, на наших ПК. Meta* удивила всех нас своей моделью с открытым весом, и постепенно мы начали понимать, что видеопамять очень и очень важна для возможности запускать модели искусственного интеллекта локально.

Фактически, мы поняли, что с видеопамятью для локальных моделей искусственного интеллекта важны две вещи:

• Чем больше количество, тем лучше (чтобы можно было запускать более крупные и мощные модели)
• Чем больше пропускная способность, тем лучше (больше токенов в секунду в выводе)

И вот тогда все стало ясно: когда появились RTX 5090, они сделали это с 32 ГБ памяти GGDR7: очень хорошо с точки зрения пропускной способности (почти 1792 ТБ/с), но несколько короче, потому что при таком объеме памяти не было места для размещения больших моделей искусственного интеллекта в памяти.

Там Apple, почти без шума, начала выделяться как выдающийся вариант. Mac Studio с прошлогодними M3 Ultra давали пользователям возможность доступа к машинам с унифицированной памятью объемом до 512 ГБ (!) и с завидной пропускной способностью 819 ГБ / с. Да, чуть меньше половины, чем у RTX 5090, но с огромным запасом по производительности. поместите в эту память действительно большие модели с открытым весом.

С новыми компьютерами Mac Studio с новыми чипами Apple M5 Ultra эта унифицированная память сияет своим собственным светом. У нас снова доступно до 512 ГБ на машину, но пропускная способность теперь увеличивается до 1,2 ТБ / с, что на 50% больше, чем у M3 Ultra. Улучшение заметно, но дело не в этом.

Конкуренция, как видно из твита Или на X.com у нее все сложно. Самые мощные видеокарты Nvidia превосходят Apple по пропускной способности, но не по объему видеопамяти, и, кроме того, для их использования вам понадобятся остальные компоненты.

DGX Spark — интересный вариант благодаря 128 ГБ «унифицированной памяти», аналогичной той, что используется на компьютерах Mac, но пропускная способность намного ниже, чем у M3 Ulta, не говоря уже о M5 Ultra.

Та же проблема затрагивает все его варианты (Acer Veriton GN100, Dell GB10 и т. Д.), А также такие машины, как Framework Desktop или новые ПК с чипами AMD Strix Halo (например, отличный Ryzen AI Max+ 395): пропускная способность оправдана и составляет около 250 ГБ / сут.с. Mac mini M4, чтобы вы могли понять, имеет пропускную способность 120 Гбит / с, что составляет менее половины от DGX Spark. Плохое дело для конкурентов Apple.

Программное обеспечение завершает уравнение

Мы уже много лет говорим о том, что CUDA — это «оборонительный ров» (ров) Nvidia в области искусственного интеллекта. Эта технология позволила разработчикам, работающим в этой области, в полной мере использовать возможности этих видеокарт, и это особенно актуально в крупных центрах обработки данных, которые используют OpenAI, Anthropic и их конкуренты.

Если Nvidia пойдет на такой шаг, то дело не столько в ее чипах с искусственным интеллектом, сколько в ее программном обеспечении с искусственным интеллектом. У AMD, например, есть несколько фантастических чипов в своих Instinct MI350, но программное обеспечение (на данный момент не такое совершенное). Да, ее технология ROCM развивается, но на данный момент Nvidia продолжает сохранять это преимущество, которое так ценится пользователями, которые не хотят сложностей.

Казалось, у Apple здесь есть все шансы проиграть, но сразу же был выпущен MLX, открытый фреймворк Apple для своего семейства чипов Apple Silicon. С его помощью была создана целая экосистема квантованных моделей с использованием этой технологии (модели искусственного интеллекта прекрасно «понимают» друг друга с помощью этих микросхем) и таких приложений, как LM Studio, которые позволяют запускать их оптимально.

Но дело в том, что теперь есть еще один программный компонент, который также бросается в глаза. Речь идет о возможности подключить несколько компьютеров Mac (mini, Studio и т. Д.), Чтобы объединить их вычислительные мощности и, таким образом, создать гибридные (или нет) кластеры машин, которые позволяют обрабатывать больше и выигрывать, прежде всего, в том объеме памяти, который доступен для запуска этих моделей. Это именно то, что Exo Labs запустила несколько месяцев назад, и теперь ее руководители работали с Apple, чтобы внедрить эту опцию в эти новые команды.

Добро пожаловать в эпоху домашних центров обработки данных

Некоторые уже говорят о том, как машины такого типа в конечном итоге станут новыми домашними ПК эпохи искусственного интеллекта: вместо ПК или даже сетевого хранилища идея состоит в том, что у нас будет машина в стиле Mac Studio, которая будет работать 24/7 и на которой мы сможем использовать локальные модели искусственного интеллекта. Добро пожаловать в эпоху мини-центров обработки данных искусственного интеллекта для дома.

Такие модели могут уступать по мощности моделям Frontier от OpenAI, Anthropic или их конкурентов, но разница уже не так заметна, и об этом свидетельствует тот факт, что китайские открытые модели уже очень близки по производительности к GPT-5.6 Sun или Fable 5.

По общему признанию, эти модели слишком велики, чтобы их можно было запускать локально (Kimi K3 — модель 2,8T, Qwen3.8.Max достигает 2,4T), но из них получаются «локальные» версии, такие как исключительный Qwen3.8-27B, который идеально «умещается» на машине с автоматическим управлением. 32 ГБ видеопамяти (или унифицированной памяти).

Это позволяет тем, у кого есть RTX 5090, запускать его со скоростью, превышающей 100 токенов в секунду в некоторых вариантах, но здесь есть пара проблем. Во-первых, это то, что RTX 5090 потребляют много энергии. А во-вторых, они издают довольно много шума и сильно нагреваются, что делает их «неудобными» для использования в домашних условиях.

Именно здесь Mac Studio (и даже Mac mini с новыми M5 Pro) становятся машинами, более чем подходящими для этой области. Они эффективны и бесшумны, так что в этом они также выигрывают у конкурентов.

Итак, в чем проблема? Ну, обычный.

Использование лучших местных моделей искусственного интеллекта обходится (очень) дорого

Мы настаиваем, что на фоне всех этих радостей есть печальная нота: цены на новые компьютеры Mac высоки. Это то, на что мы в некоторой степени надеялись, учитывая, что кризис с памятью сделал все это дорогим, но дело в том, что Apple особенно «наказывает» пользователей, которым больше всего нужен объем памяти в этих зверях ИИ.

Mac Studio с самым дешевым M5 Ultra (96 ГБ унифицированной памяти) стоит от 6649 евро. Если нам нужна версия на 256 ГБ, цена вырастет до 11 049 евро. Надо сказать, что DGX Spark емкостью 256 ГБ тоже недешевы и на данный момент стоят около 6000 евро, то же самое и с остальными альтернативами: запускать большие модели с искусственным интеллектом на месте сегодня дорого.

Со временем это, вероятно, улучшится, но, как бы то ни было, ясно одно: поворот, который Apple внесла в свои настольные компьютеры, впечатляет. В Купертино им, похоже, запретили произносить аббревиатуру «ИИ», но с некоторых пор эта часть, похоже, прояснилась. У них может не быть заметной собственной локальной модели (держу пари, это изменится), но то, что у них есть, — это (вероятно) лучшие беговые дорожки для беговые дорожки конкурентов.

Хорошая игра, Apple. Хорошо сыграно.

Редактор: AndreyEx