“AI大神”Ilya：堆算力的“预训练”时代将结束

在2024年NeurIPS大会上，前OpenAI联合创始人、SSI创始人Ilya Sutskever表示：预训练时代即将终结（Pre-training as we know it will end）。“将数据比作AI发展的燃料，由于我们只有一个互联网，数据增长已经触顶，AI即将进入‘后石油时代’，而这，意味着依赖于海量数据的预训练模型将难以为继，AI发展亟待新的突破。”Ilya认为，未来AI发展将聚焦于智能体、合成数据和推理时计算（Agents、Synthetic data和Inference-time compute）。