豆包大模型团队近日联合北京交通大学、中国科学技术大学，发布了视频生成实验模型“VideoWorld”，并宣布其代码正式开源。与当前主流的多模态模型如Sora、DALL-E、Midjourney等不同，VideoWorld在业内首次实现了无需依赖语言模型，仅通过视觉信息即可认知世界。
传统的多模态模型通常依赖语言或标签数据来学习知识，然而，语言并不能捕捉真实世界中的所有信息。例如，像折纸、打领结等复杂任务，难以通过语言清晰表达。VideoWorld通过去除语言模型，实现了统一执行理解和推理任务。它基于一种潜在动态模型（LDM），能够高效压缩视频帧间的变化信息，显著提升知识学习的效率和效果。
实验结果显示，在仅有300M参数的情况下，VideoWorld已取得了显著的模型表现。在不依赖任何强化学习搜索或奖励函数机制的前提下，VideoWorld达到了专业5段9x9围棋水平，并能够在多种环境中执行机器人任务。
VideoWorld的发布为人工智能领域带来了新的可能性，特别是在视频生成、自动驾驶、医疗影像等领域。在视频生成方面，纯视觉认知模型可以更直观地理解和生成视频内容，减少对语言描述的依赖，提高生成效率和质量。在自动驾驶领域，车辆需要实时处理大量视觉信息，VideoWorld的技术可用于提升车辆对环境的理解和决策能力。在医疗影像分析中，模型能够通过学习大量医学影像数据，辅助医生进行诊断和治疗规划。
豆包大模型团队选择开源VideoWorld，可能有以下几方面的考量。首先是加速技术普及，通过开源，更多的研究者和开发者可以接触并使用VideoWorld，推动纯视觉认知技术的快速发展和应用。
第二是吸引开发者社区，开源有助于建立活跃的开发者社区，汇集全球的智慧，共同完善和优化模型，促进技术的迭代升级。
第三是建立行业标准，作为首个无需依赖语言模型的视觉认知模型，VideoWorld的开源有助于其成为行业标准，影响未来相关技术的发展方向。
然而，开源也带来了一些挑战。比如，在知识产权保护方面，开源可能导致技术被未经授权地使用或修改，如何在开放的同时保护自身的知识产权，是需要考虑的问题。另外是竞争对手模仿的问题，开源使得竞争对手可以轻松获取技术细节，可能加剧市场竞争。当然还有社区管理方面的挑战，维护一个活跃且健康的开源社区需要投入大量资源，包括技术支持、文档维护等。
对于关注人工智能领域的科技类股票投资者而言，VideoWorld的发布标志着AI技术的又一重要突破。纯视觉认知模型的应用前景广阔，相关企业有望在视频生成、自动驾驶、医疗影像等领域获得新的增长点。