百川发布金融大模型，采用自约束训练方式提升“通专能力”

如何让大模型在提升专业能力的同时不损失通用能力，是当下大模型落地具体场景的最大阻碍。12月23日，百川智能推出全链路领域增强金融大模型Baichuan4-Finance，采用自约束训练方案，同步提升模型专项能力和通用能力，提高金融场景可用性。

百川智能由前搜狗公司CEO王小川于2023年创办。全链路领域增强方案覆盖了构建、模型预训练、微调、强化学习等从模型研发到场景应用全流程，旨在提升模型多元场景可用性。据了解，Baichuan4-Finance的金融数据集包含金融专业教材与学术著作、顶级金融期刊论文、监管机构政策文件、金融法律法规等核心专业金融知识数据，以及金融专业问答集、企业财报与年度报告、金融类研究分析报告等实践应用类数据。

在此基础上，Baichuan4-Finance在领域自约束训练过程中引入更高精的通用数据混合训练，实现模型通用能力不下降、金融能力稳定增长，并在后训练环节通过合成数据、指令数据对模型实施有监督的微调；在强化学习策略中，针对数学计算等金融领域特别关注的场景进行样本增强等，提升模型性能。

在中国人民大学财政金融学院12月17日发布的金融评测体系FLAME的测评中，Baichuan4-Finance在银行、保险、基金、证券等资格认证领域的准确率突破95%，整体准确率93.62%。

金融行业数据丰富，适合大模型落地。但在业内人士看来，当下大模型落地金融，还要解决四大问题：一是合规性，金融是强监管行业，任何新技术的应用都要满足监管要求。二是安全性，如果幻觉问题不能彻底避免或消失，大模型落地金融就存在风险，与此同时，在涉及用户敏感数据的问答时，大模型存在泄漏隐私数据风险。三是解释性，金融是逻辑性强的行业，数据处理结果要求准确。四是经济性，大模型更新速度越来越快，对算力、数据的要求越来越高，金融机构落地大模型还要考虑成本，“有时候小模型的效果不一定比大模型差。大模型和小模型的配合也会起很大作用，比如舆情分析、财务异常识别等。”