Доступность DeepSeek - это миф: революционный ИИ на самом деле стоит 1,6 миллиарда долларов на разработку

Тем не менее, это все еще дешевле, чем его конкуренты.

Новый чат -бот из DeepSeek предстал перед мне с этим интригующим описанием:

Привет, я был создан, чтобы вы могли спросить что угодно и получить ответ, который может даже удивить вас.

Сегодня искусственный интеллект Deepseek стал грозным конкурентом на рынке, в частности, в значительной степени способствовало одному из крупнейших цен на акции Nvidia.

Изображение: Ensigame.com

Что отличает эту модель, так это ее инновационная архитектура и методы обучения. Он включает в себя несколько передовых технологий:

Multi-Token Production (MTP) : вместо того, чтобы предсказывать по одному слову за раз, модель прогнозирует несколько слов одновременно, анализируя различные части предложения. Этот подход значительно повышает как точность, так и эффективность модели.

Смесь экспертов (MOE) : в этой архитектуре используются различные нейронные сети для обработки входных данных. Это ускоряет обучение ИИ и повышает производительность. В Deepseek V3 используются 256 нейронных сетей, причем восемь активируются для каждой задачи обработки токенов.

Многопользовательское скрытое внимание (MLA) : этот механизм помогает сосредоточиться на наиболее значимых частях предложения. MLA извлекает ключевые детали из фрагментов текста неоднократно, а не один раз, снижая вероятность отсутствия важной информации. Это позволяет ИИ более эффективно захватывать важные нюансы во входных данных.

Выдающийся китайский стартап DeepSeek утверждает, что создал конкурентоспособную модель ИИ с минимальными затратами, заявив, что они потратили всего 6 миллионов долларов на обучение мощной нейронной сети Deepseek V3 и использовали только 2048 графических процессоров.

Изображение: Ensigame.com

Тем не менее, аналитики полуанализа показали, что DeepSeek управляет большой вычислительной инфраструктурой, содержащей приблизительно 50 000 графических процессоров Nvidia. Это включает в себя 10 000 единиц H800, более 10 000 продвинутых H100 и дополнительные партии графических процессоров H20. Эти ресурсы распределены по нескольким центрам обработки данных и используются для обучения, исследований и финансового моделирования искусственного интеллекта.

Общая инвестиция компании в серверы составляет около 1,6 млрд. Долл. США, а эксплуатационные расходы оцениваются в 944 млн. Долл. США.

DeepSeek является дочерней компанией китайского хедж-фонда High-Flyer, который отключился от стартапа как отдельное подразделение, ориентированное на технологии искусственного интеллекта в 2023 году. В отличие от большинства стартапов, которые арендуют вычислительную власть от облачных провайдеров, Deepseek владеет своими собственными центрами обработки обработки данных, предоставляя ему полный контроль над оптимизацией модели ИИ и обеспечивая более быстрое реализацию инноваций. Компания остается самофинансированной, что положительно влияет на его гибкость и скорость принятия решений.

Изображение: Ensigame.com

Более того, некоторые исследователи в DeepSeek зарабатывают более 1,3 миллиона долларов в год, привлекая лучших талантов от ведущих китайских университетов (компания не нанимает иностранных специалистов).

Даже учитывая это, недавняя претензия Deepseek о обучении своей последней модели всего за 6 миллионов долларов кажется нереальным. Эта цифра относится только к стоимости использования графических процессоров во время предварительного обучения и не учитывает расходы на исследования, уточнение модели, обработку данных или общие затраты на инфраструктуру.

С момента своего создания DeepSeek инвестировала более 500 миллионов долларов в разработку ИИ. Однако, в отличие от более крупных компаний, обремененных бюрократией, компактная структура Deepseek позволяет ей активно и эффективно внедрять инновации в области ИИ.

Изображение: Ensigame.com

Пример DeepSeek демонстрирует, что хорошо финансируемая независимая компания ИИ может конкурировать с лидерами отрасли. Тем не менее, эксперты подчеркивают, что успех компании в значительной степени связан с миллиардами инвестиций, технических прорывов и сильной командой, в то время как заявления о «революционном бюджете» для разработки моделей ИИ несколько преувеличены.

Тем не менее, затраты конкурентов остаются значительно выше. Например, сравните стоимость модельного обучения: DeepSeek потратил 5 миллионов долларов на R1, а Chatgpt4o стоила 100 миллионов долларов.