小紅書作為一家社交平臺，在人工智能領域一直保持著低調的姿態(tài)。然而近日，小紅書發(fā)布了其首個自研大模型dots.llm1，引發(fā)廣泛關注。該模型擁有1420億參數，訓練使用了11.2萬億高質量token的數據，性能堪比阿里Qwen3-32B模型。dots.llm1采用了Mixture of Experts架構，在推理過程中僅激活140億參數，大大降低了訓練和推理的成本。據小紅書技術團隊介紹，此模型在中英文通用場景、數學、代碼、對齊任務上表現出色，特別是在中文任務中，CLUEWSC評測得分高達92.6分，達到業(yè)界領先水平。小紅書通過引入Interleaved1F1BwithAlltoAlloverlap和GroupedGEMM優(yōu)化技術，顯著提升了計算效率。隨著AI技術的不斷進步，小紅書正積極布局大模型領域，力求在未來的工作中開發(fā)出更加強大的模型。