近期，36氪在北京昌大召開“WISE2024 貿(mào)易之王”年夜會，吸引各行各業(yè)精英齊聚，共探艱巨卻準(zhǔn)確之事。北京電子數(shù)智科技有限責(zé)任公司（如下簡稱“北電數(shù)智”）應(yīng)邀出席，其CMO兼戰(zhàn)略與市場賣力人楊震發(fā)表《“國產(chǎn)算力 PoC 平臺”，以場景測評尋覓算力最優(yōu)解》主題演講，于年夜會上分享了北電數(shù)智對于在國產(chǎn)算力運(yùn)用的深刻看法與前沿摸索結(jié)果，為行業(yè)成長提供了極具價值的思緒與標(biāo)的目的。 OpenAI o1發(fā)布后，強(qiáng)化進(jìn)修晉升年夜模子智力的推理模子線路得到了業(yè)內(nèi)承認(rèn)，不少公司紛紛發(fā)布推理模子。而推理模子雖信仰以長思索時間提高智能程度，但現(xiàn)實運(yùn)用頂用戶仍注重相應(yīng)速率快、推理成本低、吞吐能力長這些指標(biāo)。且推理模子看重垂直場景落地，存于財產(chǎn)鏈斷層，模子方與算力供應(yīng)需按場景體系化適配痛點(diǎn)。北電數(shù)智首個國產(chǎn)算力PoC平臺可助力推理模子落地，提供低成本算力，幫年夜模子適配國產(chǎn)芯片晉升推理效果、加快推理速率。 國產(chǎn)算力PoC平臺構(gòu)建在北電數(shù)智進(jìn)步前輩計較迭代驗證平臺（即進(jìn)步?AI 異構(gòu)計較平臺）之上，座落在由北電數(shù)智兼顧計劃設(shè)置裝備擺設(shè)、設(shè)計運(yùn)營的北京數(shù)字經(jīng)濟(jì)算力中央。國產(chǎn)算力PoC平臺可針對于差別廠家的算力芯片，實行算力納管與同一調(diào)理，依據(jù)各種模子使命的特征差異，精準(zhǔn)調(diào)配相宜的算力資源。同時，借助構(gòu)建富厚的算子庫、打造通訊庫等手腕，有力鞭策模子練習(xí)加快進(jìn)程，為年夜模子供應(yīng)兼具高性價比與高品質(zhì)的算力撐持，使其以更低成本、更高效率開展運(yùn)算，助力年夜模子落地。 當(dāng)模子與行業(yè)、場景深切聯(lián)合，定制化的主要性日趨凸顯。北電數(shù)智推出的國產(chǎn)算力PoC平臺可以或許為用戶于垂直場景下提供算力集群的評測、適配以和驗證辦事，協(xié)助算力需求方探訪出最為相宜的“軟件+硬件”組合方案，以此晉升模子訓(xùn)推算力的效率，減少訓(xùn)推所需時間與成本，為用戶創(chuàng)作發(fā)明更優(yōu)質(zhì)的利用體驗。 國產(chǎn)算力PoC平臺年夜幅晉升國產(chǎn)芯片使用率及集群使用率。借助調(diào)理、算法以和算子等多層面優(yōu)化，國產(chǎn)算力PoC平臺可年夜幅改善國產(chǎn)集群的訓(xùn)推效能，混訓(xùn)集群的練習(xí)結(jié)果可以或許到達(dá)單一集群綜合練習(xí)效果的1.2倍，于舉行混推操作時使平均MFU（模子對于算力的使用率）從30%躍升至60%。 顛末國產(chǎn)算力PoC平臺多層優(yōu)化后，反應(yīng)于模子天生速率上體現(xiàn)為基在國產(chǎn)芯片的模子首字延遲至多可優(yōu)化10倍，解碼延遲可達(dá)10倍優(yōu)化，能更迅速地完成數(shù)據(jù)解析事情，推理吞吐量最高可實現(xiàn)80倍的晉升。象征著于單元時間內(nèi)可以或許處置懲罰更多的數(shù)據(jù)，進(jìn)而更快速地相應(yīng)模子推理需求，有用晉升用戶體驗并提高數(shù)據(jù)處置懲罰效率。 為進(jìn)一步晉升運(yùn)行效率并勤儉資源，北電數(shù)智于集群中應(yīng)用了一系列推理優(yōu)化計謀。例如，依附scoping to zero特征可以或許有用縮短冷啟動時長；于集群推理環(huán)節(jié)，撐持Continuous batch、Page attention、CPU / GPU 異步等推理計謀，提高GPU使用率。 當(dāng)前，北電數(shù)智的國產(chǎn)算力PoC平臺已經(jīng)經(jīng)實現(xiàn)了對于十多種海內(nèi)知名算力芯片的評測撐持以和與二十多款主流模子的適配。北電數(shù)智的國產(chǎn)算力PoC平臺于當(dāng)下AI成長進(jìn)程中已經(jīng)彰顯出要害價值與強(qiáng)盛競爭力。其依附精準(zhǔn)的算力納管與調(diào)理、卓著的模子適配能力以和全方位的優(yōu)化舉措，有用解決了推理模子于落地運(yùn)用時面對的諸多災(zāi)題，極年夜地晉升了國產(chǎn)芯片使用率與集群效能，降低了模子訓(xùn)推成本并顯著提高了運(yùn)行效率。 身為肩負(fù)“設(shè)置裝備擺設(shè)數(shù)字中國”任務(wù)的AI原生國企，北電數(shù)智始終對峙做難而準(zhǔn)確的事，致力在強(qiáng)化行業(yè)間的生態(tài)聯(lián)動，買通模子、場景與芯片于貿(mào)易運(yùn)營和研發(fā)立異層面的閉環(huán)鏈路。于人工智能財產(chǎn)蓬勃成長的海潮中，北電數(shù)智踴躍結(jié)構(gòu)，經(jīng)由過程連續(xù)優(yōu)化國產(chǎn)算力PoC平臺整合行業(yè)資源，不僅為財產(chǎn)鏈上下流企業(yè)提供了高效的互助橋梁，也致力在晉升我國人工智能財產(chǎn)自立化立異能力，為國度科技戰(zhàn)略推進(jìn)做出立異樹模。
掃描微信公眾號
