BigMac
BigMac是小红书DotsInfra团队开源的多模态大模型流水并行训练框架，面向MLLM训练存在的算力利用率与显存占用相互冲突痛点，提出依赖安全嵌套流水线架构。以LLM流水线作为主干，在不打乱语言模型执行顺序的前提下嵌入图像、音频编码器与生成器任务，有效减少训练空泡。
实测场景下，训练速度相比传统方案提升1.08–1.9倍，编码器激活显存稳定维持常数级，支持超大批次训练，已经落地小红书内部多模态模型生产训练。框架兼容MegatronCore等主流训练底座，模型代码无需大幅改造即可接入，配套性能诊断工具，便于集群调优。
从域名运维视角，AI训练集群依赖大量调度域名、模型API域名，需要纳入常态化资产监控。随着开源训练框架普及，各类企业自建多模态模型的需求上升，AI算力接口域名攻击风险持续增加。企业部署大模型平台时，做好域名访问鉴权、流量监控，防止算力资源被恶意调用。
实测场景下，训练速度相比传统方案提升1.08–1.9倍，编码器激活显存稳定维持常数级，支持超大批次训练，已经落地小红书内部多模态模型生产训练。框架兼容MegatronCore等主流训练底座，模型代码无需大幅改造即可接入，配套性能诊断工具，便于集群调优。
从域名运维视角，AI训练集群依赖大量调度域名、模型API域名，需要纳入常态化资产监控。随着开源训练框架普及，各类企业自建多模态模型的需求上升，AI算力接口域名攻击风险持续增加。企业部署大模型平台时，做好域名访问鉴权、流量监控，防止算力资源被恶意调用。
多模态大模型训练长期存在一个行业死结：想要训练速度快，就要牺牲显存利用率、消耗更多硬件资源；想要压低显存占用，就会大幅拖慢训练吞吐、降低迭代效率。长期以来，显存占用与训练速度只能二选一，成为中小开发者、普通实验室落地多模态模型的最大瓶颈。
时间：2026-07-26
闽公网安备 35021102000564号