2024-08-23-insights

Jamba-1.5: Hybrid Transformer-Mamba Models at Scale

之前有个叫jamba的论文，第一次把mamba训起来了，这次出了jamba 1.5，直接搞了个激活92B参数Mamba MoE。感觉能训起来确实牛