“单机真金不怕火模”成新趋势在2023年成都专业市场调查机构

发布日期：2024-01-19 11:25    点击次数：109

作家 | 三北裁剪 | 漠影成都专业市场调查机构

进入2024年，跟着大模子加快产业化落地，以及MoE（夹杂巨匠模子）等大模子时期发展，Llama 2等百亿级参数的模子锦绣前景，有望在实战场景中以低老本赶超GPT-4等万亿级参数超大界限的模子。

潞晨科技创始东谈主尤洋告诉智东西：“咱们完满不错用一台一体机完成模子的微长入部署。”开源大模子让更多企业无需从新启动磨练，不错更小心低老本的微长入部署，因此大模子种植的过程也不错变得愈加轻量化。

潞晨科技创立于2021年7月，创始东谈主尤洋是加州伯克利大学博士、新加坡国立大学计算机系的校长后生证据，曾创造了ImageNet、BERT、AlphaFold、ViT磨练速率的寰球记录，时期于今被微软、谷歌、英伟达等科技巨头粗浅收受。

2023年11月，潞晨科技推出了大模子训推一体机，单机因循千亿参数大模子，大要匡助企业像作念PPT同样浅易快速地完成大模子种植，模子磨练/推理加快2-10倍，且效用和老本数倍优化。这意味着大模子种植与行使的门槛被大大禁止。

尤洋表露，推出只是一个多月之后，这款名为Colossal-AI大模子一体机的产物已获取了金融、医学、动力、零卖等领域的标杆客户，为公司获取数千万元营收。而加握一体机的大模子种植系统Colossal-AI，现时已获取GitHub星数超3.5万颗，细分赛谈名次寰球第一。

2024年有望成为大模子的落地元年。行业将面对什么样的新趋势？开源大模子若何跑赢GPT-4等超大模子？“单机真金不怕火模”在实战中阐扬若何？通过对话尤洋，智东西对此进行了潜入洽商。

神秘顾客公司_赛优市场调研

▲潞晨科技创始东谈主、新加坡国立大学计算机系的校长后生证据尤洋

一、大模子进入落地元年，“单机真金不怕火模”成新趋势

在2023年，大模子界限动辄上万亿参数，用一台办事器去磨练，险些是不敢思的事。

进入2024年，情况正在改革：

市集不再一味地追求模子的超大界限参数。「百模大战」的焦点由2023年的大模子转向大模子产业化落地，大模子需要考证行使效果。在这种布景下，一方面，市面上的万亿级参数的通用大模子赓续搏杀，最终可能只剩下几家；另一方面，百亿级参数大模子依靠传统行业数据，结合场景，有望开荒出一派新市集。

同期，很难说Llama 2等百亿级参数界限开源模子不够用了。

尤洋告诉智东西，近期欧洲Mistral AI开源的MoE模子，加上Llama 2这类开源大模子，其实也曾能知足大部分用户业务需求。

MoE是一种基于稀少MoE层的模子架构，处理输入数据时惟有少数巨匠模子被激活或者使用，在磨练和推理上阐扬出权贵上风，达到检朴计算资源的效果，Mistral AI、MiniMax等着名大模子创企最近齐表露了MoE进展；此前7月，外媒SemiAnalysis曾曝GPT-4收受的就是MoE有谋划，16个千亿级参数的巨匠模子结合而来。当今，MoE成为创企解围GPT-4的一大垂危捷径。

据Kitco News报道，新一轮的黄金热潮席卷零售市场。Costco于今年早些时候开始向其北美客户销售金条，根据该零售商的第三季度财报，这一举措取得了成功。

与此同期，人人基于Llama 2系列等模子种植的金融、办公、医疗、造就等各行业的大模子也曾启动崭露头角，在一些领域落地效果并不比GPT-4差。

这些迹象，齐意味着百到千亿级别的大模子将有较大市集发展空间。

尤洋告诉智东西，易碰到咱们完满不错用一台一体机去微长入部署，让磨练大模子像作念PPT同样浅易，并罢了老本和效果最优化。

许多时候，用户并不需要从新作念大模子预磨练，而只需要对Llama 2等开源大模子结合业务数据进行微调，微调数据可能惟有预磨练大模子的1%~1‰，因此磨练的时期和老本也会禁止数个数目级。当模子磨练完后插足行使，需要高效的推理部署优化。跟着业务的发展，模子又会有屡次小界限迭代的需求。

这些责任，在2024年齐将不错被一台办事器胜任。

不错估量，跟着大模进入产业化落地元年，“单机真金不怕火模”将成为一个新的趋势。

二、直击行业痛点，让大模子种植像作念PPT同样浅易

并不是扫数的办事器齐得当“单机真金不怕火模”。

部署大模子算力，许多插足企业面对这么的痛点：拿到办事器后还有许多责任要作念，可能需要长达30天以至更久才智把环境、框架、模子搭建起来，磨练需要屡次试错迭代，最终还需要优化推理部署进业务。模子种植的时期门槛和团队老本不低不说，种植模子的算力和时期老本背负也很严峻，产物迭代还可能赶不上竞品。

潞晨科技Colossal-AI大模子一体机直击这一滑业痛点。

Colossal-AI是潞晨科技自研的一个集成了高性能计算和AI先进时期的系统，现时已成为人人基础软件市集增长最快的软件之一，基础开源部分已在GitHub上获超3.5万颗星。Colossal-AI大模子一体机则是将这一系统及处理有谋划，与算力硬件相结合的最新产物。

“它的确把磨练部署AI大模子变得像作念PPT同样浅易。”尤洋对智东西说，“比如作念PPT，用户不需要柔和PowerPoint软件的版块，以后以至无需下载PowerPoint软件，联系我们通过文本对话就能生成幻灯片。翌日惟有达到这种景况，通盘AI分娩力才会自若。”

尤洋告诉智东西，Colossal-AI大模子一体机刚刚推出一个多月时期已落地多家客户，取得阶段性效用。客户大约分为两类：一是稀有据隐讳条款的，比如金融行业客户；二是繁多传统行业，如车厂、医药、石油等行业客户。现时Colossal-AI大模子已为公司取得了数千万元的营收，并保握高速增长。

“95%有AI需求的用户齐不错用Colossal-AI大模子一体机知足。即就是愿景界限相比大的用户，将其行动早期收受亦然曲常合适的。”尤洋告诉智东西。

同期，Colossal-AI大模子一体机易彭胀。面对其他5%有大界限模子磨练需求的用户，潞晨科技推出了Colossal-AI云平台及稀少化部署办事，不错在云霄或稀少算力集群，提供从数台办事器到千卡集群的算力因循和全面高性能处理有谋划。

▲潞晨科技Colossal-AI大模子一体机简介

用Colossal-AI大模子一体机“真金不怕火模”，将愈加省钱、省时、省事：

1、省钱：一台机器处理模子种植全经干扰题和罢了模子行使部署。一体机因循大模子磨练和推理两用，提供Llama、Falcon、MoE等丰富的大模子案例，因循用户用更少的算力老本种植大模子。

2、省时：把时期落地成圭臬化处理有谋划，结合其多年在系统层面的加快时期，因循模子磨练/推理加快2-10倍，进步客户产物的迭代效用。

3、省事：提供足够的易用性，让种植大模子像作念PPT同样浅易，用户只需要改几行代码，最多花两三个小时就把大模子搭建起来。潞晨科技的理念是为用户屏蔽底层时期贫窭，让用户只需要柔和速率、老本、模子效果等中枢事宜。

不错看到，“单机真金不怕火模”不仅意味着机器少了，更意味着大模子种植及行使的门槛权贵禁止。

三、硬件不够用，大模子行业向软件要效用

固然大模子种植和行使的门槛正在禁止，但面对的算力挑战依然严峻，提高算力效用仍是2024年大模子行业的重中之重。

“高端芯片不及，更能体现出软件的价值。”尤洋告诉智东西。

比如翌日H100等高性能GPU在国内可能难以获取，可获取的GPU硬件效用可能缩水数倍。在这一情况下，咱们不错把多个性能相对较低的GPU结合起来，去模拟出一个高性能GPU的效果，这就是Colossal-AI最擅长的部分。同期，关于替代硬件，Colossal-AI也早已与多家厂商达成合营，罢了低老本兼容适配和性能优化。

向软件要算力效用，尤洋过甚团队已深耕多年。

2018年，尤洋残忍的LARS优化器将AlexNet模子的磨练时期裁汰到24分钟，效用获国外并行处理大会（ICPP）最好论文奖；2019年，他又残忍了LAMB优化器，将BERT的预磨练时期从三天三夜裁汰至76分钟，比Adam优化器快72倍，创造机器学习领域的新记录。

基于这么的蕴蓄，潞晨科技推出的Colossal-AI在大模子海浪中脱颖而出，成为享誉人人的AI大模子基础要领。

用户在进行漫衍式大模子磨练和部署时面对极高老本移动、内存效用优化、彭胀性等多个方面贫窭，Colossal-AI在大模子一体机的构建时就已为用户处理。

具体来说，Colossal-AI在异构内存接续系统、N维并行系统和低延时推理系统三部分打造了护城河：

1、异构内存接续系统：基于Colossal-AI的异构调整系统，用户只需要写一滑代码就能对GPU内存、CPU内存、硬盘罢了高效动态接续，可将硬件的模子容量进步百倍。

2、高效N维并行系统：基于Colossal-Al的N维并行时期，潞晨科技独创序列并行，打造了更高维度的张量并行在内的多种并行政策，易用性极佳，仅需极少许修改即可快速部署多样复杂并行政策，最大化阐扬硬件性能。

3、低延时推理系统：潞晨科技收受了包括内存接续、张量并行时期，以及剪枝蒸馏等一系列优化时期，从合座的部署姿色和模子自己的优化两方面下手，最大化加快模子推理。

罗马非一日建成。恰是由于在大模子系统优化有多年蕴蓄，潞晨科技才智够在这波大模子海浪中拔得头筹。近期，潞晨科技刚刚完成了近亿元的A+轮融资，背后则是对那时期、产物、生态、客户及团队等多方面智商的认同。

▲潞晨科技展台

结语：禁止大模子种植门槛，自若AI分娩力

进入2024年，「百模大战」中的更多大模子将进入产业实战，一方面，万亿级的头部大模子依然在许多场景中占据总揽地位，需要大界限算力集群；另一方面，很难说百亿到千亿级别的大模子不够用，结合行业数据，可能阐扬出比大界限模子更好的效果，这也使得“单机真金不怕火模”成为可能。

工欲善其事，必先利其器。潞晨科技Colossal-AI大模子一体机的推出，为有大模子需求的厂商提供了大模子磨练的加快器、算力的加成包和效果的放大器。其背后的理念更值得提倡，那就是让大模子种植变得像作念PPT同样浅易成都专业市场调查机构，这亦然构建AI基础要领，所能平直展现的自若AI分娩力的真理方位。

• 真金不怕火
• 是在
• 成心
• 淡季
• 淡季