Llama3成本构成解析

Llama3的成本构成主要包括以下方面：

• 训练成本：包含硬件成本，如使用大量GPU等计算资源，像Llama3-70B模型训练用了640万个GPU小时，若按H100租赁价2.8美元/小时算，成本约8635万美元；还有电力消耗、散热系统维护等费用。
• 数据成本：有数据收集、存储和处理费用，Llama3训练数据达15万亿，数据传输费用也包含在内，输入输出Token比例约为10:1，会影响传输成本。
• 人力成本：涉及研发团队工资、福利及管理费用等，Meta开发Llama3投入了大量人力。
• 推理成本：包含计算资源使用成本，如部署模型时的推理计算；还有模型部署维护费用，若有API调用，还有API调用成本，按使用量如请求次数等计算。