,英伟达被“偷家”？全新AI芯片横空出世 速度比GPU快十倍

股票配资学

芯片推理速度较英伟达GPU提高10倍、成本只有其1/10；运行的大模型生成速度接近每秒500tokens，碾压ChatGPT-3.5大约40tokens/秒的速度——短短几天，一家名为Groq的初创公司在AI圈爆火。

Groq读音与马斯克的聊天机器人Grok极为接近，成立时间却远远早于后者。其成立于2016年，定位为一家人工智能解决方案公司。

在Groq的创始团队中，有8人来自仅有10人的谷歌早期TPU核心设计团队。例如，Groq创始人兼CEOJonathanRoss设计并实现了TPU原始芯片的核心元件，TPU的研发工作中有20%都由他完成，之后他又加入GoogleX快速评估团队，为谷歌母公司Alphabet设计并孵化了新Bets。

如何配资炒股股票配资平台哪个好股票配资利息怎么算

榆林股票配资股票正规配资官网股票配资是怎么回事

“我们(做的)不是大模型，”Groq表示，“我们的LPU推理引擎是一种新型端到端处理单元系统，可为AI大模型等计算密集型应用提供最快的推理速度。”

从这里不难看出，“速度”是Groq的产品强调的特点，而“推理”是其主打的细分领域。

Groq也的确做到了“快”，根据Anyscale的LLMPerf排行显示，在GroqLPU推理引擎上运行的Llama270B，输出tokens吞吐量快了18倍，优于其他所有云推理供应商。

股票网上配资股票配资平台官网专业股票配资公司怎么配资买股票

股票基金配资配资炒股杠杆股票配资行情配资炒股哪

据悉，Groq芯片完全抛开了英伟达GPU颇为倚仗的HBM与CoWoS封装，其采用14nm制程，搭载230MBSRAM，内存带宽达到80TB/s。算力方面，其整型(8位)运算速度为750TOPs，浮点(16位)运算速度为188TFLOPs。

值得注意的是，“快”是Groq芯片主打的优点，也是其使用的SRAM最突出的强项之一。

股指期货配资开户炒股配资怎么配福州股票配资开户配资好评股票配资门户炒股配资app

SRAM是目前读写最快的存储设备之一，但其价格昂贵，因此仅在要求苛刻的地方使用，譬如CPU一级缓冲、二级缓冲。

股票能配资吗股票配资资金股票配资怎么玩

华西证券指出，可用于存算一体的成熟存储器有NorFlash、SRAM、DRAM、RRAM、MRAM等。其中，SRAM在速度方面和能效比方面具有优势，特别是在存内逻辑技术发展起来之后，具有明显的高能效和高精度特点。SRAM、RRAM有望成为云端存算一体主流介质。