【马斯克：Ai训练数据已耗尽，合成数据将成未来方向】据Techcrunch报道，埃隆·马斯克在与Stagwell董事长Mark Penn的直播对话中表示，目前Ai模型的训练已基本耗尽真实世界的数据，“我们已经用尽了人类知识的累积总和，这在去年就发生了。”马斯克与前Openai首席科学家Ilya Sutskever的观点一致，后者在Neurips机器学习大会上提出Ai行业已达到“数据峰值”，未来可能需要改变模型开发方式。 马斯克认为，合成数据将是补充真实数据的途径，Ai将通过生成和自我评估数据实现自我学习。这一趋势已被包括微软、Meta、Openai和Anthropic等科技巨头采用，如微软Phi-4模型和谷歌Gemma模型都结合了真实数据和合成数据进行训练。Gartner预测，2024年Ai和分析项目中约60%的数据将为合成生成。 合成数据的优势包括成本节约，例如Ai初创公司Writer仅花费约70万美元开发其几乎完全基于合成数据的Palmyra X 004模型，相比之下，类似规模的Openai模型开发成本约为460万美元。然而，合成数据也存在风险，包括模型创造力下降、输出偏差加剧，以及潜在的模型崩溃，尤其当训练数据本身存在偏差时，生成结果也可能受到影响。