LLaMA-Factory 是一个专为大语言模型（LLM）微调设计的全能高效框架。它支持包括LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、DeepSeek、Yi、Gemma、ChatGLM等在内的众多模型。该框架集成了预训练、监督微调、奖励建模、PPO、DPO、KTO和ORPO等多种训练方法，并通过AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ技术支持16位全参数微调、冻结微调、LoRA以及各类QLoRA量化技术（2/3/4/5/6/8位）。
框架融合了GaLore、BAdam、APOLLO、Adam-mini、Muon、DoRA、LongLoRA、LLaMA Pro和Mixture-of-Depths等先进算法来提升训练效率，同时支持FlashAttention-2、Unsloth、Liger Kernel、RoPE缩放、NEFTune和rsLoRA等实用技巧。其功能覆盖多轮对话、工具调用、图像理解、视觉定位、视频识别和音频理解等多样化任务。
LLaMA-Factory提供LlamaBoard、TensorBoard、Wandb、MLflow和SwanLab等实验监控工具，并通过vLLM或SGLang加速器实现OpenAI风格API、Gradio界面和命令行的高效推理。性能优化方面，该框架训练速度可比常规方法提升3.7倍，配合4位量化技术既能获得更优的Rouge分数，又可降低GPU显存占用。
随着对Qwen3、Llama 3、GLM-4和Mistral Small等最新模型的持续支持，LLaMA-Factory已成为LLM研究开发的前沿工具。项目采用Apache-2.0开源协议，并积极欢迎社区贡献与合作。