Серверы Lenovo AI впервые реализуют локальное развертывание DeepSeek Full Blood Big Model менее чем 1TB, поддерживают 100 параллельных запросов

GoldenOctober2024

2025-03-03 05:21:34

G3-11,1%

Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.

Посмотреть Оригинал

Отказ от ответственности: Информация на этой странице может поступать от третьих лиц и не отражает взгляды или мнения Gate. Содержание, представленное на этой странице, предназначено исключительно для справки и не является финансовой, инвестиционной или юридической консультацией. Gate не гарантирует точность или полноту информации и не несет ответственности за любые убытки, возникшие от использования этой информации. Инвестиции в виртуальные активы несут высокие риски и подвержены значительной ценовой волатильности. Вы можете потерять весь инвестированный капитал. Пожалуйста, полностью понимайте соответствующие риски и принимайте разумные решения, исходя из собственного финансового положения и толерантности к риску. Для получения подробностей, пожалуйста, обратитесь к Отказу от ответственности.

комментарий

0/400

Andrucho

· 2025-03-03 05:30

автор молодец!!!

Посмотреть ОригиналОтветить0