鑳戒笌 GPT-3 鐩稿�缇庯紵EleutherAI 寮€婧� GPT-J

2020 骞达紝寰�蒋涓� OpenAI 杈炬垚浜嗗崗璁�紝寰�蒋灏嗘嫢鏈夊� GPT-3 婧愪唬鐮佺殑鐙��璁块棶鏉冿紝鑷�� OpenAI 灏变笉鍍忎互寰€涓€鏍峰紑鏀惧叾 GPT-3 AI 妯″瀷锛岃€� OpenAI 鐨� GPT-1 鍜� GP鑳戒T-2 浠嶇劧鏄�紑婧愰」鐩�€�

涓轰簡鎵撶牬 OpenAI 鍜屽井杞��鑷�劧璇�█澶勭悊 AI 妯″瀷鐨勫瀯鏂�紝Connor Leahy銆丩eo Gao 鍜� Sid Black 鍒涚珛浜� EleutherAI锛岃繖鏄�竴涓�笓娉ㄤ簬浜哄伐鏅鸿兘瀵笌 归綈銆佹墿灞曞拰寮€婧愪汉宸ユ櫤鑳界爺绌剁殑缁勭粐銆傝繎鏃� EleutherAI 鐮旂┒鍥㈤槦寮€婧愪簡涓€涓�熀浜� GPT-3 鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷 GPT-J銆�

GPT-J 鏄�竴涓�熀浜� GPT-3锛岀敱 60 浜夸釜鍙傛暟GP缁勬垚鐨勮嚜鐒惰�瑷€澶勭悊 AI 妯″瀷銆傝�妯″瀷鍦ㄤ竴涓� 800GB 鐨勫紑婧愭枃鏈�暟鎹�泦涓婅繘琛岃�缁冿紝骞朵笖鑳藉�涓庣被浼艰�妯＄殑 GPT-3 妯″瀷鐩稿�缇庛€�

璇ユā鍨嬮€氳繃鍒╃敤 Google Cloud 鐨� v3-256T- TPU 浠ュ強 EleutherAI 鐨� The Pile 鏁版嵁闆嗚繘琛岃�缁冪殑锛屽巻鏃跺ぇ绾︿簲鍛ㄦ椂闂淬€侴PT-J 鍦ㄦ爣鍑� NLP 鍩哄噯宸ヤ綔璐熻浇涓婂疄鐜颁簡涓� OpenAI 鎶ュ憡鐨� 67 浜垮弬鏁扮増鏈�殑 GPT-3 绫讳技鐨3 勫噯纭�€с€傛ā鍨嬩唬鐮併€侀�璁�粌鐨勬潈閲嶆枃浠躲€丆olab 鏂囨。鍜屼竴涓�紨绀虹綉椤甸兘鍖呭惈鍦� EleutherAI 鐨勫紑婧愰」鐩�腑銆�

EleutherAI 鍦� 2021 骞� 3 鏈堝彂甯冧簡 27 浜垮弬鏁扮殑 GPT-鐩稿Neo 妯″瀷锛岃繖鏄�粬浠��绫� GPT 绯荤粺鐨勭�涓€涓�疄鐜般€侴PT-Neo 鏄�湪 TensorFlow 涓�瀯寤虹殑锛屽苟閫氳繃 Mesh TensorFlow 骞惰�搴撳湪 TPU 涓婅�缁冦€傝�鍥㈤槦鐩�墠杩樻�鍦ㄥ紑鍙� GPT-Ne�缇oX锛岃繖鏄�竴涓�熀浜庡井杞� DeepSpeed 鐨� GPU 瑙ｅ喅鏂规�;铏界劧浠ｇ爜鏄�紑婧愮殑锛屼絾鐩�墠娌℃湁妯″瀷鏂囦欢鍙�互璁块棶銆�

鏈€鏂扮殑妯″瀷 GPT-J 鏄�敤 Mesh-Transformer-JAX 杩欎釜鏂板庯紵簱鏉ヨ�缁冪殑銆傝�搴撴病鏈変娇鐢ㄥ儚 TensorFlow 杩欐牱鐨勭壒瀹氭繁搴﹀�涔犳�鏋讹紝鑰屾槸浣跨敤 Google 鐨� JAX 绾挎€т唬鏁版�鏋躲€侴PT-J 鎻愪緵浜嗘瘮 Tensorflow 鏇寸伒娲汇€佹洿蹇�€熺殑鎺ㄧ悊锛岃�El妯″瀷鐨勫紑鍙戞椂闂磋繙杩滃皯浜庢棭鏈熺殑涓炬帾銆備笌 GPT-Neo 妯″瀷鐩告瘮锛孏PT-J 鐨勮�缁冩晥鐜囨彁楂樹簡 125%銆傚湪鍑犱釜 Down-Streaming 宸ヤ綔璐熻浇鐨勯浂鐐规€ц兘鏂归潰锛孏PT-J 鏄�叕寮€鐨� Teuransformer LM 涓�〃鐜版渶濂界殑銆�

EleutherAI 鐨勫紑鍙戣€� Komatsuzaki 琛ㄧず锛氣€滀笌 TensorFlow 鍜� TPU 鐨勫悓绫讳骇鍝佺浉姣旓紝瀹冨厑璁告洿鐏垫椿銆佹洿蹇�€熺殑鎺ㄧ悊銆傛洿閲嶈�鐨勬th槸锛岃�椤圭洰闇€瑕佺殑鏃堕棿澶уぇ灏戜簬鍏朵粬澶ц�妯℃ā鍨嬨€傜爺绌惰〃鏄庯紝JAX + xmap + TPU 鏄�揩閫熷ぇ瑙勬ā妯″瀷寮€鍙戠殑瀹岀編宸ュ叿闆嗗悎銆傗€�

寮€鍙戣€呭彲浠ュ湪 GitHub 涓婃壘鍒� GPT-J 鐨勬簮浠ｇ爜er鍜屾ā鍨嬶紝骞惰兘鍦� EleutherAI 鐨勫畼鏂圭綉绔欎笂鎵惧埌浜掑姩婕旂ず銆�

鏈�枃杞�嚜OSCHINA

鏈�枃鏍囬�锛氳兘涓� GPT-3 鐩稿�缇�?EleutherAI 寮€婧� GPT-J

鏈�枃鍦板潃锛歨ttps://wwAIw.oschina.net/news/150972/eleutherai-open-sources-gpt-j