榪戞棩錛岃秴瀵圭О涓嶶Cloud浼樺埢寰楀悎浣滐紝灝嗗叕鍙告帹鍑虹殑3涓ぇ妯″瀷寮€婧愬埌UCloud瀹樼綉錛屼互“澶фā鍨+澶х畻鍔“鐨勬柟寮忥紝鍏卞悓鎺ㄨ繘AICG鍒涙柊搴旂敤銆
2022騫5鏈堣秴瀵圭О鎶€鏈叕鍙稿彂甯冨ぇ璇█妯″瀷BigBang Transformer銆愪咕鍏冦€戠殑絎竴鐗圔BT-1錛10浜垮弬鏁伴璁粌璇█妯″瀷錛屽湪涓枃閲戣瀺璇枡涓婅緇冭€屾垚錛屽彂甯冧箣鍚庡嵆鑾峰緱緇忔祹閲戣瀺棰嗗煙瀹㈡埛鐑儓鍙嶉錛屼綔涓哄ぇ妯″瀷搴曞駭宸茬粡涓哄瀹朵腑鍥藉拰嫻峰鏈烘瀯鎻愪緵鏈嶅姟銆
榪戞湡錛岃秴瀵圭О鍏徃鍐嶆帹鍑築BT-2錛岃繖鏄竴涓熀浜120浜垮弬鏁扮殑閫氱敤澶ц璦€妯″瀷錛屽茍鍦˙BT-2鐨勫熀紜€涓婏紝璁粌鍑轟唬鐮併€侀噾铻嶃€佹枃鐢熷浘絳変笓涓氭ā鍨嬨€
瓚呭縐版妧鏈叕鍙稿皢鍙戝竷鍩轟簬BBT-2鐨勭郴鍒楁ā鍨嬶細
•BBT-2-12B-Text錛120浜垮弬鏁扮殑涓枃閫氱敤璇█妯″瀷
•BBT-2.5-13B-Text: 130浜垮弬鏁扮殑涓枃+鑻辨枃鍙岃鍩虹妯″瀷
•BBT-2-12B-TC-001-SFT 緇忚繃鎸囦護寰皟鐨勪唬鐮佹ā鍨嬶紝鍙互榪涜瀵硅瘽
•BBT-2-12B-TF-001 鍦120浜挎ā鍨嬩笂璁粌鐨勯噾铻嶆ā鍨嬶紝瑙ｅ喅閲戣瀺棰嗗煙浠誨姟
•BBT-2-12B-Fig錛氭枃鐢熷浘妯″瀷
•BBT-2-12B-Science 縐戝璁烘枃妯″瀷
閫氳繃涓嶶Cloud浼樺埢寰楀湪綆楀姏鍜屽紑婧愭柟闈㈢殑鍚堜綔錛岃秴瀵圭О榪樺皢3涓ぇ妯″瀷寮€婧愬埌瀹樼綉銆乬ithub鍜孶Cloud錛屽悗緇敤鎴峰彲鐩存帴鍦║Cloud瀹樻柟騫沖彴閫氳繃GPU浜戜富鏈虹殑琛屼笟闀滃儚鎴栫畻鍔涘鉤鍙扮洿鎺ュ紑綆變嬌鐢ㄨ繖浜涙ā鍨嬶細
鈼BBT-1-0.2B錛2浜垮弬鏁伴噾铻嶆ā鍨嬶紝鍖呮嫭涓変釜涓嶅悓棰勮緇冩柟寮忚繘琛岃緇冪殑妯″瀷, 璁簡600浜縏okens錛
(1)BBT-1-0.2B-001錛2浜垮弬鏁幫紝閲戣瀺妯″瀷錛孴5Decoder+Encoder鏋舵瀯
(2)BBT-1-0.2B-002: 2浜垮弬鏁幫紝閲戣瀺妯″瀷錛孴5+GPT
(3)BBT-1-0.2B-003: 2浜垮弬鏁幫紝閲戣瀺妯″瀷錛孴5+UL2
鈼BBT-1-1B錛10浜垮弬鏁伴噾铻嶆ā鍨嬶紝T5Encoder+Decoder鏋舵瀯錛屼嬌鐢ㄩ噾铻嶄腑鏂囪鏂欏簱1000浜縯okens榪涜棰勮緇冿紝鍖呭惈紺句氦濯掍綋錛岃儲緇忔柊闂伙紝鍒稿晢鐮旀姤錛屽叕鍙稿叕鍛婅儲鎶ョ瓑鏁版嵁
鈼BBT-2-12B-Text錛120浜垮弬鏁板熀紜€妯″瀷錛孏PT Decoder-Only 鏋舵瀯錛屾湭緇忔寚浠ゅ井璋冿紝瀹屾垚2000浜縯oken棰勮緇冿紝妯″瀷鎬ц兘榪樻湁杈冨ぇ鎻愬崌絀洪棿錛屽紑鍙戣€呭彲鍦ㄩ€氱敤妯″瀷涓婄戶緇緇冩垨榪涜涓嬫父浠誨姟寰皟
鈼BBT-2.5-13B-Text: 130浜垮弬鏁板熀紜€妯″瀷錛孏PT Decoder-Only 鏋舵瀯錛屾湭緇忔寚浠ゅ井璋冿紝瀹屾垚2000浜夸腑鏂+鑻辨枃tokens棰勮
(UCloud瀹樼綉寮€婧愭ā鍨嬩嬌鐢ㄦ祦紼)
浠ヤ笅鏄秴瀵圭О鎶€鏈叕鍙稿熀浜嶣BT-2鐨勭郴鍒楁ā鍨嬩粙緇嶏細
1銆丅BT-2-12B-Text 閫氱敤妯″瀷
BigBangTransformer[涔懼厓]鏄熀浜嶨PT Decoder-only鏋舵瀯鐨勫ぇ瑙勬ā棰勮緇冩ā鍨嬨€傜戶2022騫村紑婧怋BT-1-0.2B妯″瀷涔嬪悗錛屾寮忓紑婧愭渶鏂扮郴鍒楃殑BBT妯″瀷錛欱BT-1-1B錛孊BT-2-12B-Text錛孊BT-2.5-13B-Text銆傞璁粌璇枡搴撹鐩14涓珮璐ㄩ噺鏁版嵁婧愶紝瑕嗙洊涔︾睄銆佺櫨縐戙€佽鏂囥€佸皬璇淬€佹柊闂匯€佹斂絳栨枃浠躲€佷腑鏂囧崥瀹€佺ぞ浜ゅ獟浣撶瓑澶氫釜鏁版嵁婧愮綾匯€侭BT-2-12B-Text鍩轟簬涓枃700浜縯okens榪涜棰勮緇冿紝緇忚繃鎸囦護寰皟鐨凚BT-2鍩虹妯″瀷鍙互鍥炵瓟鐧劇綾誨拰鏃ュ父鐢熸椿鐨勯棶棰樸€侭BT-2.5-13B-Text鍩轟簬涓枃+鑻辨枃2000浜縯okens榪涜棰勮緇,鏆傛椂涓嶅紑鏀懼熀紜€妯″瀷鐨勯棶絳斿璇濇帴鍙ｃ€
妯″瀷寮€婧愬悗鎵€鏈夊紑鍙戣€呭彲浠ワ細
•鍙互鐩存帴璋冪敤澶фā鍨嬭繘琛屽璇
•鍦ㄦ垜浠緇冪殑鍩虹涓婁嬌鐢ㄨ嚜鐢辮鏂欏簱緇х畫璁粌
•瀵瑰ぇ妯″瀷榪涜寰皟璁粌浠ユ弧瓚沖悇縐嶄笅娓鎬換鍔
2.BBT-2-12B-Text+Code 浠ｇ爜妯″瀷
BBT-TC錛屾槸瓚呭縐版妧鏈叕鍙歌繎鏈熷彂甯冪殑BBT-2澶фā鍨嬬郴鍒椾腑鐨勪唬鐮佹ā鍨嬶紝鍦ㄧ櫨浜垮熀搴фā鍨婤BT-2-12B-Text鎺ョ畫璁粌浠ｇ爜鏁版嵁闆嗭紝閫氳繃鏈夌洃鐫ｆ寚浠ゅ井璋(Supervised Fine-Tuning)瑙ｉ攣妯″瀷鐨勬帹鐞嗚兘鍔涖€傝妯″瀷鍦ㄤ笓涓氳瘎嫻嬩腑鍒嗘暟瓚呰繃鍏朵粬涓浗鍏徃寮€鍙戠殑鍚岀被妯″瀷錛屼粎嬈′簬GPT-3.5銆
寮€鍙戣€呭彲浠ュ湪瓚呭縐板叕鍙稿畼緗慼ttps://www.ssymmetry.com嫻嬭瘯BBT妯″瀷鐨勪唬鐮侀棶絳(浠呭簲鐢ㄤ簬浠ｇ爜鐢熸垚鍦烘櫙錛屾棤娉曞洖絳斾笌浠ｇ爜鏃犲叧鐨勯棶棰)
璇︽儏鍙鏂囩珷銆婅秴瀵圭О鎶€鏈叕鍙哥殑浠ｇ爜澶фā鍨婥odeBBT鍦ㄤ笓涓氳瘎嫻嬩腑浣嶅眳鍓嶅垪錛屼粎嬈′簬GPT-3.5銆
3銆丅BT-2-12B-TF-001 閲戣瀺妯″瀷
瓚呭縐板叕鍙鎬簬2021騫翠究寮€濮嬮拡瀵歸噾铻嶆姇璧勯鍩熺殑搴旂敤錛岀潃鎵嬭璁″拰璁粌浜嗕竴涓ぇ瑙勬ā鍙傛暟棰勮緇冭璦€妯″瀷Big Bang Transformer涔懼厓(BBT)錛岀洰鍓嶅彂甯冧簡Base 鐗堟湰2.2浜垮弬鏁板拰Large 鐗堟湰10浜垮弬鏁頒互鍙婃渶鏂扮殑BBT2錛120浜垮弬鏁伴€氱敤妯″瀷銆侭BT妯″瀷鐨勭洰鏍囨槸涓洪噾铻嶆姇璧勫緩绔嬬粺涓€鐨勪漢宸ユ櫤鑳界畻娉曟鏋訛紝鍩轟簬transformer鏋勫緩鑳借瀺鍚堣緇冮噾铻嶆姇璧勬秹鍙婄殑涓嶅悓妯℃€佹暟鎹殑鏋舵瀯銆傚湪緇熶竴鏋舵瀯鐨勫熀紜€涓婅緇冨ぇ瑙勬ā鍙傛暟棰勮緇冩ā鍨嬶紝闅忕潃妯″瀷鍙傛暟鍜岃緇冩暟鎹泦緇х畫澧炲ぇ錛岃秴瀵圭О鍥㈤槦鏈夊笇鏈涘紑鍙戝嚭鍦ㄩ噾铻嶉鍩熸帴榪戜漢綾繪櫤鑳芥按騫崇殑妯″瀷銆備綔涓洪噾铻嶉鍩熺殑鍩虹煶妯″瀷錛孊BT妯″瀷涓烘墍鏈夐噾铻嶆姇璧勶紝緇忔祹鍒嗘瀽錛屽晢涓氬挩璇㈢瓑鍦烘櫙鐨勬繁搴﹀涔犱笅娓鎬換鍔℃彁渚涘井璋冩湇鍔°€
閲戣瀺鎶曡祫棰嗗煙鏈夊ぇ閲忎粠涓氭満鏋勫拰浜哄憳錛屽ぇ鍘傛湁璐㈠姏闆囦劍綆楁硶宸ョ▼甯堬紝灝忓洟闃熷嵈鐢ㄤ笉璧峰熀鏈殑鏂囨湰鎶藉彇綆楁硶銆侭BT妯″瀷浣滀負閲戣瀺棰嗗煙鐨勭畻娉曞熀紜€璁炬柦錛岃鎵€鏈変粠涓氳€呴厤澶囧悓綰у埆鐨勬鍣紝璁╁叏琛屼笟绔欏湪鍚屼竴璧瘋窇綰垮幓绔炰簤鏇翠紭鐨勬姇璧勭瓥鐣ワ紝浠庤€屾帹鍔ㄩ噾铻嶅拰緇忔祹甯傚満鏇撮珮鏁堢殑淇℃伅鍜岃绱犳祦鍔ㄣ€
涓轟簡鏇村ソ鍦版帹榪涗腑鏂囬噾铻嶈嚜鐒惰璦€澶勭悊鐨勫彂灞曪紝瓚呭縐版悳闆嗗拰鐖彇浜嗗嚑涔庢墍鏈夊叕寮€鍙互鑾峰緱鐨勪腑鏂囬噾铻嶈鏂欐暟鎹:
1)榪囧幓20騫存墍鏈変富嫻佸獟浣撳鉤鍙板彂甯冪殑璐㈢粡鏀挎不緇忔祹鏂伴椈
2)鎵€鏈変笂甯傚叕鍙稿叕鍛婂拰璐㈡姤
3)涓婂崈涓囦喚鐮旂┒闄㈠拰鍜ㄨ鏈烘瀯鐨勭爺絀舵姤鍛
4)鐧句竾鏈噾铻嶇粡嫻庢斂娌葷瓑紺句細縐戝綾諱功綾
5)閲戣瀺紺句氦濯掍綋騫沖彴鐢ㄦ埛鍙戝笘
緇忔祴璇曪紝BBT-TF鍦ㄥ叕鍛婃憳瑕佷換鍔″満鏅秴瓚奀hatGPT錛氫嬌鐢–hatGPT鍜孊BT-TF瀵瑰悓涓€浠藉叕鍛婏紝鐩稿悓杈撳叆錛岀敓鎴愭憳瑕佸茍瀵規瘮鏁堟灉錛屽彂鐜癇BT-TF鏇存弧瓚沖疄闄呰繍鐢ㄥ満鏅€侭BT-TF榪樺彲榪涜鍥涜垗浜斿叆鐨勮綆椼€傚湪閲戣瀺琛屼笟瀵規暟瀛楅珮綺懼害瑕佹眰涓嬶紝BBT-TF鍙鍗曚綅榪涜鍑嗙‘鐨勬崲綆椼€
瓚呭縐板凡寮€鍙戜簡11縐嶅凡钀藉湴搴旂敤鐨勪笅娓鎬換鍔★紝闈㈠悜涓撲笟閲戣瀺寮€鍙戣€匒PI錛屽凡鑾峰緱涓浗鍙婃搗澶栭噾铻嶆満鏋勪粯璐
4.BBT-2-12B-Image鏂囩敓鍥炬ā鍨
鍩轟簬BBT2澶ц璦€妯″瀷錛岃秴瀵圭О鍜屼腑鍥戒笓涓氬浘搴撳叕鍙歌仈鍚堝紑鍙戞枃鐢熷浘AIGC妯″瀷BBT-Fig錛岀洰鍓嶈妯″瀷鍚戠漢緇囪涓氾紝鍗板埛錛屽箍鍛婏紝娓告垙絳夎涓氬鎴鋒彁渚涙枃鐢熷浘搴旂敤錛岀粡榪囦笓涓氳瘎嫻嬶紝BBT-Fig鍦ㄧ漢緇囪涓婄殑搴旂敤鏁堟灉姣擲table Diffusion鍜屾枃蹇冧竴鏍鹼紝鏄庢樉鏇翠紭銆
BBT-Fig鑳藉鐢熸垚闈炲父閫肩湡鐨勫浘鍍忥紝騫朵笖鍏鋒湁鍙帶鐨勬牱寮忓拰椋庢牸銆傚湪綰虹粐琛屼笟涓紝BBT-Fig鍙互閫氳繃瀵逛笉鍚岀漢緇囨潗鏂欑殑鍥懼儚榪涜瀛︿範錛岀敓鎴愬叿鏈夌汗鐞(鍙棤緙濇嫾鎺)銆佽壊褰(鑹插僵浜害涓嶄細鍙楄緇冩牱鏈槑鏆楀獎鍝嶏紝涓烘爣鍑嗗寲璁捐鐢ㄦ牱寮)鍜岃璁″厓绱(鍙殢鎰忕粍鍚堝厓绱)鐨勭漢緇囧搧鍥炬錛屾彁楂樼漢緇囧搧璁捐鐨勬晥鐜囧拰鍒涙柊鎬с€傝鎶€鏈繕鍙敤浜庡瑁呯瓑絳夐渶瑕佸浘妗堣璁＄殑琛屼笟銆
鐢ㄤ簬鐢熸垚浜洪€犲ぇ鐞嗙煶鑺辯汗
5銆丅BT-2-12B-Science 縐戝璁烘枃妯″瀷
椹柉鍏嬭涓篈GI鐨勭粓鏋佹祴璇曟槸妯″瀷鑳藉彂鐜版柊鐨勭墿鐞嗗畾寰嬨€侴PT-4鍦ㄥ尰鐢熻祫鏍艱€冭瘯銆佸緥甯堣祫鏍艱€冭瘯銆丄P鑰冭瘯銆丟RE涓婅幏寰椾笉閿欑殑鍒嗘暟錛屼絾鐩墠榪樻病鏈夎瘉鏄庡叾鑳芥湁鏁堝湴鍙戠幇鎴栬緟鍔╀漢綾葷煡璇嗗簱灝氭湭瀛樺湪鐨勭煡璇嗐€
瀵逛簬涓浗鐨勫ぇ妯″瀷鐮斿彂鍥㈤槦錛岀洿鎺ョ瀯鍑嗗ぇ璇█妯″瀷鐢ㄤ簬縐戝鍙戠幇鏄秴瓚奊PT-4鐨勪竴涓彲鑳借礬寰勩€傚湪縐戝鐮旂┒涓婏紝鐮旂┒浜哄憳鍙互浣跨敤璇█妯″瀷鏉ヨ嚜鍔ㄦ彁鍙栧拰鍒嗘瀽璁烘枃涓殑涓婚銆佸疄楠屾柟娉曘€佺粨鏋滃拰緇撹錛屼粠鑰屽彂鐜版柊鐨勭瀛﹀彂鐜板拰鐮旂┒鏂瑰悜銆
BBT-Science澶фā鍨嬫槸鍩轟簬BBT澶фā鍨嬪湪鍑犲崈涓囩瘒縐戠爺璁烘枃涓婅緇冩瀯寤虹殑杈呭姪縐戝鍙戠幇鐨勫ぇ妯″瀷錛屽簲鐢ㄤ簬鐗╃悊銆佸寲瀛︺€佺敓鐗┿€佹暟瀛︾瓑涓嶅悓瀛︾鐨勭鐮旂煡璇嗛棶棰橈紝鍙互鎻愪緵涓夋柟闈㈢殑鑳藉姏
1銆佸揩閫熺簿鍑嗙殑鐭ヨ瘑媯€绱€傝繖欏硅兘鍔涘拰澶фā鍨嬪湪鍏朵粬棰嗗煙鐨勫璇濊兘鍔涚浉榪戙€
2銆侀拡瀵規墍鐮旂┒棰嗗煙鐨勫墠娌塊棶棰樻彁渚涙柊鐨刬deas. 榪欑鏂癷deas浜х敓浜庡ぇ妯″瀷鍦ㄨ棰嗗煙鐨勬搗閲忔暟鎹绱㈠拰閲嶆柊緇勫悎錛屽彂鐜板墠浜烘湭鍙戠幇鐨勫彲鑳芥€с€
3銆佸埄鐢ㄥ瀛︾鐭ヨ瘑璁粌鍑虹殑鑳藉姏鎻愪緵璺ㄥ縐戠殑寤鴻鍜屾礊瑙併€傝繖欏硅兘鍔涙綔鍔涙渶澶с€
涓轟簡瀵圭瀛﹀ぇ妯″瀷榪涜璇勬祴錛岃秴瀵圭О鎶€鏈叕鍙鎬笌澶嶆棪銆佷笂嫻蜂氦澶с€佹禉澶с€佸崡鑸€佷腑灞卞ぇ瀛︺€佸寳甯堝ぇ絳夊鎵€澶у鍚堜綔錛屾鍦ㄥ彿鍙叏鐞冧竴綰跨殑縐戠爺浜哄憳鍏卞悓鏋勫緩涓€涓渶澶х殑縐戠爺闂璇勬祴鏁版嵁闆哛esearchQA銆傝鏁版嵁闆嗚鐩栨暟瀛︺€佺墿鐞嗐€佸寲瀛︺€佺敓鐗┿€佸湴鐞嗗湴璐ㄣ€佽綆楁満銆佺數瀛愬伐紼嬬瓑涓繪祦縐戠爺棰嗗煙銆傝鏁版嵁闆嗙洿鎺ラ噰闆嗙鐮旈鍩熼噷鍓嶆部鐨勭爺絀惰棰樹綔涓洪棶棰橈紝閲嶇偣鑰冨療澶фā鍨嬪洖絳旂殑鍒涙柊鎬с€傜瀛﹀ぇ妯″瀷灝嗘垚涓哄叏鐞冪鐮旇兘鍔涚殑搴曞眰寮曟搸錛屽甫鏉ョ鐮旂敓浜у姏鐨勫姞閫熴€
寮€婧愪笅杞介摼鎺
妯″瀷錛
瓚呭縐板畼緗戯細https://bbt.ssymmetry.com/model.html
Github錛歨ttps://github.com/ssymmetry
UCloud瀹樻柟騫沖彴錛岃鎵弿涓嬫柟浜岀淮鐮佹垨鐐瑰嚮闃呰鍘熸枃閾炬帴
璇枡搴擄紝寮€婧愪簡鎺ヨ繎1000浜縯okens鐨勯璁粌璇枡錛屽寘鎷€氱敤璇枡鍜岄噾铻嶈鏂欙紝璇﹁錛
https://bbt.ssymmetry.com/data.html
璇勬祴鏁版嵁闆嗭紝寮€婧愪簡8涓腑鏂囬噾铻嶅ぇ妯″瀷鐨勮瘎嫻嬫暟鎹泦錛岃瑙侊細
https://bbt.ssymmetry.com/evaluation.html
璁烘枃閾炬帴錛
https://arxiv.org/abs/2302.09432
銆怳Cloud闃呰鍘熸枃閾炬帴銆
https://www.ucloud.cn/site/active/ai-bbt2.html
浜哄伐鏅鴻兘鎶€鏈綉 鍊″灝婇噸涓庝繚鎶ょ煡璇嗕駭鏉冦€傚鍙戠幇鏈珯鏂囩珷瀛樺湪鐗堟潈絳夐棶棰橈紝鐑﹁30澶╁唴鎻愪緵鐗堟潈鐤戦棶銆佽韓浠借瘉鏄庛€佺増鏉冭瘉鏄庛€佽仈緋繪柟寮忕瓑鍙戦偖浠惰嚦1851688011@qq.com鎴戜滑灝嗗強鏃舵矡閫氫笌澶勭悊銆傦紒錛棣栭〉 > 鏂伴椈 » 瓚呭縐拌仈鍚堝鏃﹀ぇ瀛﹀彂甯冨茍寮€婧120浜垮弬鏁拌璦€妯″瀷BBT-2 UCloud浼樺埢寰楁彁渚涚畻鍔涘拰寮€婧愭敮鎸