据外媒，知名机器学习公司OpenAI近日推出两套多模态人工智能系统模型DALL-E和CLIP，DALL-E可以基于文本直接生成图像，CLIP能够完成图像与文本类别的匹配。DALL-E可以将以自然语言形式表达的大量概念转换为恰当的图像，并使用了GPT-3 同样的方法，只不过DALL-E将其应用于文本-图像对。

　　另一个神经网络CLIP能够执行一系列视觉识别任务。给出一组以语言形式表述的类别，CLIP能够立即将一张图像与其中某个类别进行匹配，而且它不像标准神经网络那样需要针对这些类别的特定数据进行微调。在ImageNet基准上，CLIP的性能超过ResNet-50，在识别不常见图像任务中的性能远超ResNet。

　　虽然CLIP在识别常见对象时往往表现良好，但在计算图像中对象数量等更抽象或更系统的任务，以及预测照片中最靠近车辆间的距离等更复杂任务上的表现不佳。在这两项任务上，zero-shot CLIP的效果也只比随机猜测好一点。