Darwin

Darwin是一个开源项目，专注于自然科学领域的大型语言模型构建，主要涵盖物理、化学和材料科学。通过对科学文献和数据集进行预训练和微调，Darwin 在科学问答和多任务学习任务中表现优异。它结合了结构化和非结构化的科学知识，提升了语言模型在科学研究中的效能。Darwin 提供了一种强大的工具，助力科学家和研究人员在科学发现中取得更大突破。 Darwin：面向自然科学的开源语言模型 Darwin的主要功能特点 高性能：Darwin 的微调策略（QA + 多任务）显著提升了其在多样化机器学习任务中的表现，使其成为一个竞争力强的模型，能够在科学问答和多任务学习任务中超越现有的许多机器学习方法。  数据策略：Darwin 结合科学文献和 FAIR 数据集，生成高质量的科学指令和问答数据。通过混合 QA 数据和通用数据，提升了模型的性能，同时避免了模型退化。 模型评估：通过与其他模型的广泛比较，Darwin 在少样本学习任务中表现优异，甚至超过了 GPT-4。在实验带隙预测任务和金属分类任务中，Darwin 达到了 SOTA（state-of-the-art）水平。 同步数据和格式匹配：测试了目标任务的同步（sync）数据，发现同步数据的相似格式显著提升了性能，而不同格式的同步数据则会降低性能。 专有模型的微调：成功在未预训练的 LLaMA 架构上应用了监督微调（SFT），证明了模型可以通过微调有效地获得领域特定知识。 直接与 LLaMA 变体比较：对 LLaMA1、LLaMA2、LLaMA3 和 LLaMA3.1 模型进行了广泛的比较，发现 LLaMA1 的 QA + 多任务微调策略表现最好，超过了其他所有变体。 开放性和协作性：Darwin 是一个开源项目，鼓励用户参与改进和发展。项目主要面向自然科学领域，特别是材料科学、化学和物理学。 Darwin模型的最新版本Darwin 1.5，进一步增强了其在材料科学领域的应用能力。该版本整合了更丰富的科学问答数据和材料科学任务，提升了模型在材料属性预测和发现方面的准确性和效率。此外，Darwin 1.5采用了语言接口微调框架（LIFT），使得模型在处理复杂科学问题时更加高效和灵活。 在实际应用中，Darwin模型不仅限于材料设计，还可以用于药物研发、疾病诊断等生物医学领域，展现出其跨学科的潜力。通过与科学文献和数据集的深度整合，Darwin模型能够为研究人员提供更为精准的科学支持，推动科学发现的进程。 Darwin模型由新南威尔士大学（UNSW）ai4Science与GreenDynamics AI合作开发，是一个开源项目，专注于预训练和微调LLaMA模型，以增强其在科学领域的表现。其核心目标是通过人工智能驱动的自动化方法，加速科学发现过程，减少对闭源AI模型的依赖。 Darwin代码库：https://github.com/masterai-eam/darwin