Nvidia和OpenAI启动开源推理模型

OpenAI和NVIDIA,GPT-OSS-1220B和GPT-OSS-20B开发了两种新的开放式IA推理模型。任何人都可以使用这些模型在发电,推理,物理人工智能,医疗和制造领域开发应用程序。大语言模型(LLM)OpenAI的开放文本INFRE经过H100 NVIDIA GPU的培训,并且在运行NVIDIA CUDA平台的数亿GPU中运作最佳。现在,这些模型将作为NVIDIA NIM微服务提供,并且可以通过GPU在加速基础架构中实施,并在业务层面具有灵活性,数据隐私和安全性。通过在NVIDIA Blackwell平台上的软件优化,这些模型为NVIDIA GB200 NVL72系统提供了最佳推断,每秒可实现150万个令牌。 NVIDIA BLACKWELL包括4位NVFP4精度等创新,在减少功率和内存需求的同时,允许精度进行推理。这使您可以实施BillioLLM参数的ns实时。 NVIDIA CUDA允许用户在任何地方实现和执行AI模型,从NVIDIA DGX Cloud Platform到Nvidia GeForce RTX和NVIDIA RTX Pro-exhanced PC和工作站。 NVIDIA CUDA迄今已下载了超过4.5亿次,截至今天,庞大的CUDA开发人员可以访问这些最后的模型,并优化它们以在他们已经使用的Nvidia Technology堆栈中运行。 Operai和Nvidia与顶级开放式供应商相关联,可为FlashInfer型号,拥抱面,Call.cpp,Ollama和VLLM提供优化,除了NVIDIA Tensor-RT LLM和其他库,因此开发人员还选择了他们对开源软件的承诺。您可以构建一个框架。

Related Posts

Comments are closed.