近日，阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI正式發(fā)布自研的基于HLO的全自動(dòng)分布式深度學(xué)習(xí)系統(tǒng) TePDist。它通過(guò)在HLO上做分布式策略搜索，能夠與用戶(hù)模型構(gòu)建語(yǔ)言解耦。并且在保持通用性的同時(shí)，能夠在可接受的策略搜索時(shí)間內(nèi)，追求高性能分布式策略，同時(shí)用戶(hù)無(wú)需修改模型主體代碼，系統(tǒng)能夠全自動(dòng)地幫助用戶(hù)做分布式擴(kuò)展，有效解決了分布式框架長(zhǎng)期以來(lái)在實(shí)際生產(chǎn)場(chǎng)景中手工優(yōu)化和自動(dòng)分布式工作存在的諸多性能和效率問(wèn)題。
TePDist不僅僅是一個(gè)分布式Compiler，還擁有自己的分布式Runtime，以解決深度學(xué)習(xí)模型并行策略的自動(dòng)搜索與分布式策略實(shí)施問(wèn)題。在架構(gòu)方面，TePDist采用Client/Server模式，實(shí)現(xiàn)分布式策略與模型描述的解耦。Server端是TePDist最重要部分，以HLO IR作為輸入，自動(dòng)探索并實(shí)施分布式并行策略；Client端以用戶(hù)描述的模型為輸入，將其轉(zhuǎn)換成HLO IR。因此，任何具有轉(zhuǎn)換HLO IR能力的Client，都可經(jīng)過(guò)適配后接入Server端。
在功能方面，TePDist分為兩個(gè)部分。一是在HLO IR上進(jìn)行SPMD（Data Parallel和Sharding）和Pipeline并行的策略搜索。并以此構(gòu)建編譯基于Task Graph的執(zhí)行計(jì)劃。二是高效運(yùn)行執(zhí)行計(jì)劃的分布式執(zhí)行引擎。同時(shí)，TePDist提供了不同優(yōu)化級(jí)別，高優(yōu)化級(jí)別更加追求分布式策略質(zhì)量，低優(yōu)化級(jí)別會(huì)額外采取一些Heuristic，以較為微小策略質(zhì)量犧牲，換取更快地搜索時(shí)間，以此滿(mǎn)足落地需求。
性能上，TePDist通過(guò)在GPT和MoE模型上SPMD+Pipeline混合策略的模型擴(kuò)展性實(shí)驗(yàn)，TePDist能夠使GPT和MoE分別達(dá)到峰值能力的62%和58%。同時(shí)，在自動(dòng)化方面的通用性上，TePDist也通過(guò)了VGG-19，DNABert和UNet等模型實(shí)驗(yàn)驗(yàn)證。
一直以來(lái)，大模型在模型效果上被證明具有顯著優(yōu)勢(shì)。而ChatGPT的出現(xiàn)，證明了其在工業(yè)生產(chǎn)工具方面具有巨大潛力。阿里云機(jī)器學(xué)習(xí)平臺(tái)PAI也宣布將TePDist開(kāi)源，與AI開(kāi)發(fā)者共同打造更快更好的自動(dòng)分布式系統(tǒng)，全面助力AI大模型發(fā)展！
開(kāi)源地址：https://github.com/alibaba/TePDist
開(kāi)源釘群：
星空人工智能技術(shù)網(wǎng) 倡導(dǎo)尊重與保護(hù)知識(shí)產(chǎn)權(quán)。如發(fā)現(xiàn)本站文章存在版權(quán)等問(wèn)題，煩請(qǐng)30天內(nèi)提供版權(quán)疑問(wèn)、身份證明、版權(quán)證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時(shí)溝通與處理。?。?a href="/">首頁(yè) > 新聞 » 阿里云機(jī)器學(xué)習(xí)PAI發(fā)布基于HLO的全自動(dòng)分布式系統(tǒng) TePDist，并宣布開(kāi)源！