Сегодня черный день для высокотехнологических компаний США. Весь сектор практически просел. Кто-то больше, кто-то меньше, но покраснели почти все компании отрасли.
А что, собственно случилось то?
А просто китайцы из Alibaba выпустили модель Qwen2.5-1M с миллионом токенов контекста.
Из возможностей:
* Это одна из нейронок с самым большим контекстом, ChatGPT и DeepSeek даже не рядом
* Можно загнать в чат целую книгу и получать ответы по ней
* Скорость стала выше в 7 раз
* Веб-поиск, генерация картинок и даже видео прямо в чате
* Прекрасно понимает русский язык
* Всё это абсолютно бесплатно и без VPN
* И БЕЗ НОВЕЙШИХ ТОПОВЫХ ВИДЕОКАРТ!
В связи с последним фактом, "ХЕК!!!" сказала Невидия на 17%, Гугл с Мелкомягкими - на 3-4%, Оракл на 10%. Каким-то образом задело Броадком - на те же 17%.
@cauf Миллион токенов контекста - это прям дофига. Самое большее, с чем я работал (буквально вчера, лол) - это 4096 на третьей ЛЛаМе. Х. его з., что у DeepSeek.
Надо бы потыкать, если найдутся квантизации под мой GTX.
@th3rdsergeevich вообще без шансов:
VRAM Requirement for processing 1 million-token sequences:
Qwen2.5-7B-Instruct-1M: At least 120GB VRAM (total across GPUs).
Qwen2.5-14B-Instruct-1M: At least 320GB VRAM (total across GPUs).