所属领域：

智慧医疗与健康

成果简介：

成果首次提出了自然语言微调技术（Natural Language Fine-Tuning，NLFT），NLFT技术是一种在小样本微调领域取得显著进展的科研技术，简单、低成本且可极大提高准确率。NLFT大幅降低了大语言模型（LLM）的准入门槛，摆脱对数据量和算力资源的依赖，使LLM实现了平民化。NLFT算法对不同prompts条件下的各个自然语言token条件概率进行对比，直接将自然语言作为监督信号，对其中的显著性 token 进行定位，根据显著性区别进行不同的损失缩放。实验结果表明，该算法与之前的算法相比，有更低的时间复杂度和更好的效果。 NLFT仅用50条随机训练数据，短短3轮训练，不到5分钟的时间和44.46GB的GPU显存，就将准确率只有9.38%的基础LLM（Llama3-8b）的准确率在GSM8K数据集上的准确率提升到 64.29%，准确率增量超过SFT 219%。与ReFT相比，不仅能够实现在少量训练数据上的有效收敛，还将时间复杂度和空间复杂度分别降低了78.27%和92.24%。

该临床辅助诊疗专家系统可通过 NLFT 技术高效学习医生的诊断，提升大语言模型的医学诊断正确性，辅助医生进行诊疗和决策。NLFT 的小样本的学习方法可以针对某一突发病种（样本稀缺的情况下）提供快速解决方案（应急措施），也可以快速吸收顶尖专家的临床思维模式（少量样本指导下）。理论上来说， NLFT算法该方法适用于所有能够通过CoT生成回答，并具有标签数据的场景。例如，程序设计，医学诊断，自然语言推理，复杂问答系统等。

合作方式：

专利许可、委托开发、合作开发、技术咨询、技术服务、技术入股

联系方式：

成果转化部，020-88322793，tto@pazhoulab.cn