GPT-3计划开源，SamAltman自曝急缺GPU，GPT-4多模态能

2023-06-05 12:50

没想到，OpenAI 短期工作无法推进，都是 GPU 太缺了！

听证会之后，Sam Altman 带着团队在欧洲开启了「旅行」。

而在最近的一次访谈中，Altman 也没有藏着掖着，自曝自家 AI 的一切进展，全得等 GPU 跟上了再说。

他讨论了 OpenAI 的 API，以及产品计划，引起了许多人的关注。

许多网友纷纷表示，我喜欢 Altman 的坦诚。

值得一提的是，GPT-4 的多模态能力，2024 年应该大部分 Plus 用户就能上手了，前提还是有足够 GPU 才行。

微软老大哥斥资 12 亿美元给 OpenAI 建的超算，还远远无法满足 GPT-4 运行时所需的算力。毕竟，GPT-4 参数据称有 100 万亿。

另外，Altman 还透露，GPT-3 也在 OpenAI 的开源计划之中。

不知道是不是这次采访内容透露了太多 OpenAI 的「机密」，源文稿目前已被删除，快点码了。

划重点

最新访谈，是来自 AI 开发平台 Humanloop 的首席执行官 Raza Habib 主持，采访了 Altman 以及其他 20 位开发人员。

这次讨论涉及到实际的开发者问题，以及与 OpenAI 的使命和 AI 的社会影响相关的更大的问题。

以下是关键要点:

1. OpenAI 急缺 GPU

2. OpenAI 的近期路线图:GPT-4 多模态 2024 年开放

3. 通过 API 访问 ChatGPT 插件近期不会发布

4. OpenAI 只做 ChatGPT 这一「杀手级应用」，目标是让 ChatGPT 成为一个超级智能的工作助手

5. GPT-3 在开源计划中

6. 模型性能的缩放法则继续有效

接下来，将从 6 大点介绍 Sam Altman 究竟说了啥。

OpenAI 目前严重依赖 GPU

采访的一切话题都是围绕，「OpenAI 太缺 GPU 了」。

这已经拖延了他们许多的短期计划。

目前，OpenAI 的许多客户都在抱怨 API 的可靠性和速度。Sam Altman 解释道，主要还是 GPU 太缺了。

至于，支持 32k tokens 的上下文长度还不能推出给更多的人。

由于 OpenAI 还没有克服技术上的障碍，看起来他们似乎今年就会有支持 100k-1M tokens 的上下文，但需要在研究上取得突破。

微调API 也目前受到 GPU 可用性的限制。

OpenAI 还没有使用像 Adapters 或 LoRa 这样的高效微调方法，因此微调对于运行和管理来说是非常计算密集型的。

不过，未来他们将对微调提供更好的支持。甚至，OpenAI 可能会托管一个社区贡献的模型市场。

最后，专用容量提供也受到 GPU 可用性的限制。

今年年初，网友爆出 OpenAI 正在悄悄推出一个新的开发者平台 Foundry，让客户在专用容量上运行该公司的新机器学习模型。

这一产品就是「为运行较大工作负载的尖端客户设计」。要使用这项服务，客户必须愿意预付 $100k 的费用。

运行 GPT-3.5 的轻量级版本，3 个月的委托将花费 78,000 美元，一年将花费 264,000 美元。

从另一侧面也可以看出，GPU 消耗价格不菲。

OpenAI 近期路线图

Altman 分享了 OpenAI API 的暂定近期路线图:

2023:

?又快又便宜的 GPT-4 ーー这是 OpenAI 的首要任务。

总的来说，OpenAI 的目标是，尽可能地降低「智能成本」。因此他们将努力继续降低 API 的成本。

?更长的上下文窗口ーー在不久的将来，上下文窗口可能支持高达 100 万个 tokens。

?微调 API—— 微调 API 将扩展到最新的模型，但具体的形式将取决于开发人员真正想要的是什么。

?有记忆的 API ーー目前大部分 token 被浪费在上文的传输中，将来会有一个能够记住对话历史的 API 版本。

2024:

?多模态能力ーー GPT-4 发布时曾演示了强大的多模态能力，但是在 GPU 得到满足之前，这一功能还无法拓展到所有人。

插件「没有 PMF」，短期内不会出现在 API 中

许多开发者对通过 API 访问 ChatGPT 插件非常感兴趣，但 Sam 表示这些插件不会很快发布。

「除了 Browsing 外，插件系统还没有找到 PMF。」

他还指出，很多人想把他们的产品放到 ChatGPT 里，但实际上他们真正需要的是把 ChatGPT 放到他们的产品里。

除了 ChatGPT，OpenAI 不会发布更多产品

OpenAI 的每一次动作，都让开发者们抖三抖。

不少开发人员表示，OpenAI 可能发布与他们竞争的产品的时候，对使用 OpenAI API 构建应用感到紧张。

而 Altman 表示，OpenAI 不会在 ChatGPT 之外发布更多的产品。

在他看来，伟大的公司有一个「杀手级应用」，ChatGPT 就是要做这个创纪录的应用。

ChatGPT 的愿景是成为一个超级智能的工作助理。OpenAI 不会触及到更多其他 GPT 的用例。

监管是必要的，但开源也是必要的

虽然 Altman 呼吁对未来模型进行监管，但他并不认为现有的模型是危险的。

他认为，监管或禁止现有模型将是一个巨大的错误。

采访中，他重申了自己对开源重要性的信念，并表示 OpenAI 正在考虑将 GPT-3 开源。

而现在，OpenAI 还没有开源的部分原因是，他对有多少个人和公司有能力托管，和提供大模型表示怀疑。

模型性能「缩放法则」仍有效

近来，许多文章声称，巨型人工智能模型的时代已经结束。然而，并没有准确反应 Altman 原意。

OpenAI 的内部数据表明，模型性能的缩放法则仍然有效，让模型变大将继续产生性能。

不过，缩放的速度不能维持，因为 OpenAI 在短短几年内已经将模型扩大了数百万倍，未来这样做将不可持续。

这并不意味着 OpenAI 不会继续尝试使模型更大，只是意味着它们可能每年只会增加 1 倍 / 2 倍，而不是增加多个数量级。缩放法则继续有效的事实对 AGI 开发的时间线有重要的影响。

缩放假设是我们可能已经有了构建 AGI 所需的大部分部件，剩下的大部分工作将是将现有的方法扩展到更大的模型和更大的数据集。

如果缩放的时代结束了，那么我们可能应该预期 AGI 会更远。缩放法则继续有效强烈暗示了实现 AGI 时间线会变短。

网友热评

有网友调侃道，

OpenAI:必须通过法规来保护我们的护城河。还是 OpenAI:Meta 在我们的护城河里撒尿，让我们也暗示一下我们的模型要开源吧。

还有人称，如果 GPT-3 真的开源了，像 LLMa 一样，需要大约 5 天的时间在 M1 芯片上就能运行了。

社区开发人员能够帮 OpenAI 解决 GPU 瓶颈，前提是他们开源模型。没几天，开发者们就能让其运行在 CPU 和边缘设备。

GPU 短缺一事，有人认为是 OpenAI 资金链出了问题，买不起。

然而还有人称，明显是缺乏供应。除非芯片制造业发生革命，否则相对于消费 GPU 来说，可能总是会出现供应不足的情况。

还有网友怀疑，英伟达的价值还是被低估？计算需求的阶梯式变化可能持续数年...

英伟达刚刚加入万亿美元俱乐部，这样说来，无限的算力需求或许会成就一个世界超越 2 万亿美元的芯片厂。

参考资料: