在推出针对文本和图像的生成人工智能模型之后,OpenAI现在展示了下一步可能出现的东西:一个从文本到三维模型的生成器。通过文本描述,PointE生成了3D点云,可以作为虚拟环境中的模型。除OpenAI之外,已经有其他用于3D生成的工智能模型,如谷歌的Dreamfusion或Nvidia的Magic3D。 PointE生成展示 然而,据说OpenAI的开源PointE速度明显更快,在一个NvidiaV100GPU上可以在一到两分钟内生成3D模型。 OpenAI的PointE生成点云 实际上,PointE并不生成传统意义上的3D模型,而是代表3D形状的点云。相比之下,谷歌的Dreamfusion生成NeRFs(NeuralRadianceFields)需要更多的时间,但与点云相比,NeRFs可以呈现出更多明显的细节。很显然,PointE的质量相对较低,因而使得该系统的效率很高。 PointE从文本描述中生成的点云的一些例子 当PointE生成点云后,再由另一个作为三维建模和设计标准的模型将其转化为网格。根据OpenAI的说法,这个过程还不能完全避免出错:在某些情况下,云的某些部分会被错误地处理,导致生成错误的网格。 PointE中的两个生成模型 具体来看,PointE本身由两个模型组成:一个GLIDE模型和一个imageto3D模型。前者类似于DALLE或StableDiffusion等系统,可以从文本描述中生成图像。第二个模型由OpenAI对图像和相关3D目标物体进行训练,学习从图像中生成相应点云。为了更好地训练,OpenAI使用了数百万个3D目标和相关的元数据。 通过GLIDE模型在Acorgi中创建一个图像,然后通过点云扩散模型创建一个3Dcorgi 该团队报告说,这两步过程可能会失败。但它是如此之快,以至于生成目标的速度比Dreamfusion快近600倍。这可能让它在某些应用上更加实用,或者发现更高质量的3D对象,该团队表示。 我们已经推出了PointE,一个用于文本条件合成3D点云的系统。它首先生成合成视图,然后根据这些视图生成彩色点云。我们发现PointE能够有效地产生以文本提示为条件的多样化和复杂的3D形状。 据OpenAI称,PointE是公司未来展开文本到三维合成业务的起点,目前已在Github上开放了源代码。PointE2可能最早在明年撼动3D市场。 参考链接: https:thedecoder。compointeopenaishowsdallefor3dmodels