Tencent open-sourcet Hy4 preview — 770B parameters, 1M context#
Tencent heeft Hy4 preview open gezet (Apache 2.0): een MoE-model met 770 miljard parameters waarvan er 49 miljard per token actief zijn, en een contextvenster van 1M tokens. In een blinde interne test versloeg het GLM 5.3 en Kimi K3 op engineeringtaken. De community perste het model inmiddels van 1,5TB naar ~200GB GGUF — per laag wisselend tussen 1,31-bit en 2,06-bit — met ~98% van de oorspronkelijke performance.