????GPTä¼???Iç®?æ³?模å????ç»???ç­?æ¡???ï¼?

????ChatGPT?¨å?¨ç??AI产ä??????????å¸þ=?¥ç????¥½ç¤ºè????åº?ï¼??????¨å??Iç®?æ³?模å??ç»???å½?????????·¯çº¿å????ï¼?并ä?????ä»?PT为主导ç??大è?è¨?模å??ï¼?LLMï¼???????????¨ç??AI产ä???å·¥ä??????¶ä»£?°æ?¥ã??ä¸???维度ï¼?大è?è¨?模å??é¢??????´å??ç¾?å­þ9??é¢?计ä?å°?????ä»?????¼è????¨äººå·¥æ?ºè?½ç???????½è·¯çº¿ï??ºä?æ­¤å?ºå????设ï?模å??ç®?æ³??¶æ??å°??µä?æ¸?è¿???å­þ=????究æ?ä¼?ï¼?é«?è´¨é???°æ??????å·¥ç?å®?è·µè?½å?????¸å?人æ????èµ??????为大模å??????é¢??????¸å?ç«?äº?å£????????¢å?å½???GPTç­?大è?è¨?模å???¨é????????§ã???¨ç???½å??ç­?å±??¢ç¼º?·ï?å¤????????解ã???¾æ?¥å??¨ç?¥è?&å·¥å?·ç?å¢?强è?è¨?模å??ï¼?ALMï¼??¹å?å°?????????¹å?ï¼?æ¯?å¦?ChatGPT??件ç???ä½?为中?????·ç¡®å®??§ç??产ä??¹å??ä¹?ä¸?ï¼???ä»???ç»???好å?¨ç??AIé¢???????èµ??ºä?ï¼?并建è®???ç»????þA??????ç®???设æ?½ã??模å???¶æ??&å·¥ç?å®?è·µã??åº??¨å?ºæ????¸å???????

???????¥å??ç¼?èµ·ï?

????ChatGPT?¨å?¨ç??å¸??ºç??????ï¼?以å???±æ?å¼??´ç???¨ç??主è?ç§???ä¼?ä¸???Ié¢???????å¤?ç«?èµ?ï¼?æ­£å?¨å?????¨ç??AI产ä?????å±???åºþ:??AIç®?æ³?模å??ä½?为产ä¸????¸å?????ï¼??¶æ??º«??????·¯çº¿ï?å°??´æ?¥å?³å?AI产ä??¾æ??ç»?å½¢æ??ï¼?以å????产ä?????????å·¥å??ä½??¹å???ä»·å?¼å????ç»???ç­?ï¼?å¯?Iç®?æ³?模å??????·¯çº¿ç??ç³»ç??????????»æ?§å?¤æ???????å»?I产ä?ä¸?????èµ??»è????¸å??ºç????¨æ???ä¸?é¢?ä¸????ä»?¸»è¦???ç­?ï¼?AIç®?æ³?模å?????þ????GPT?¹å??è¿?è¡??¶æ????ç®?æ³?模å???¸å?ç«?äº?å£?????ç®??????þ????ä¸?I产ä?æ½??¨çº¦????ç´?ï¼?以å??å¦?ä½?å¼??¥æ?°ç???¥è?&å·¥å?·ï?以å????å½???大è?è¨?模å????æ½??¨ç¼º?·ç???

??????????·¯çº¿ï?大è?è¨?模å??ï¼?LLMï¼?????å®??°ä¸»å¯¼ï?并ä?????GPT?¹æ???? ¬??

?????¨è??»è?10å¹´é??ï¼?人工?ºè?½æ¨¡??ç»???äº?ä»?å°?模å???°ä»¥Transformer为代表ç??大模????è½???ï¼???ä»??¹æ???ä¸???å±??????²æ?»ç?为以ä¸???ä¸??¶æ???

????1ï¼?2017å¹´å??ï¼?以深åºþ@?ä¹?为æ?¸å???å°?模å??????¸»æµ?ï¼?è¿?类模??ä»?STM??CNN模å??ä½?为å?¸å?????¹å??½å??????¹æ???¹å?é¢?????注æ?°æ???ç»?ï¼??¨ä?äº?ä»»å?¡ä???»¥è¾¾å?°æ?¥è?人类??æ°´å????ä½???¡¬ä»¶ç???ä¸?å¤?导è?´é??对å?¶ä?é¢??????°è?ç»??????é«?ï¼?让å?¶é???¨å??ä»»å?¡ç??å®??????µå?å·???

????2ï¼?2017å¹´å??020å¹´ï?以谷æ­?Bert为代表ç??????é¢?è®??+Fine Tuningï¼?å¾??ï¼???Transformer模å??æ¨?©º?ºä???为ä?人工?ºè?½ç??主æ??¹å????è°·æ??¢é??人å????表ç????Attention is all you need??论æ??å¼???äº?Transformer模å??ï¼????°ç?ä¸?äº????¶è?è¨?模å??ï¼?NLPï¼?????究è??å¼???è¿?类模??以é?è®?????¹å?å­þ??è¯??å­þ>?¹å?ï¼?大å?ç®???äº?è¿???LPç¹???????究ç?ç±»ã??Transformerä½?为ç?¹å??????¨æ????好ä?CNN??LSTM模å??ç­?ï¼?è®?Ié¦?次è?½å?¨è?è¨?ä»»å?¡ç???¨å???ºæ??¸­è¿½å¹³äººç±»??

????3ï¼?2020å¹´å??022å¹´ï?产ä???ä¸?å­þ=????继续沿ç??Transformer????è·??????ä½?å¼?å§?å°?è¯?ä¸???äº?Bert???¶ä?Transformer?¶æ??ï¼???è¿?é¢?è®???????£å?ä¹????¹æ?ä¸??????模å??大å???为ä?è¿?ä¸??¶æ???主æ???ä»?750亿å???°ç??GPT-3为代è¡????大ä???ç½?巨头ä¸????è¯?å¢???模å??ä½?ç§?»¥?·å??´å¥½????????GPT-3为代表ç??????å½?+Prompting???¹æ?å¼?å§?å±??°äº§?????½å????ä¼?è¶??§ï?ä¸?Fine-tuning?¹æ???Bert模å????为两?¡é??è·???

????4ï¼?2022å¹´è?³ä?ï¼?ChatGPT??????è¯???äº?GPT模å????Prompting??è·???正确?§ï????¶ä?强è?äº??°æ??´¨??????è¦??§ã??ChatGPT????è¦??????????¨äº§????ä¸??´è?ä¸?æ­¥ï?ChatGPT?¨æ¨¡??精度ä¸?并没??é£?è·??§ç??çª??´ï?ä½?ä»?Few Shot promptï¼???è¦?è¾??¥è??ä¾?示è??ï¼?è½??¢å??nstructï¼??¨äººç±»è?è¨???è¿°æ?³å??ä»?ä¹?ï¼??´å??è´´å???¨æ?·ç??ä¹?????

??????ç«?äº?å£???ï¼??°æ????å·¥ç?å®?è·µã??人æ????èµ??????

??????顾è??»è???年人工æ?ºè?½æ¨¡??????å±?ï¼???ä»????°è??¥äººå·¥æ?ºè?½æ¨¡?????????¨æ?è¶??¥è?é«???ä»?Bertå¼?å§???PT-3???°è°·æ­???PALMï¼?ç½?ç»?ä¸??????è¯???°æ???å·²ç??¨è?å°½å???½å?°å?©ç?????模å????è¿?ä¸?æ­¥ä???对æ?°æ??´¨????è¦?æ±?ä¹?è¶??¥è?é«???

??????ä»??为ä?è´¨ç??ç§????°æ???å°??¨æ????-5å¹´é??人工?ºè?½æ¨¡????精度ä¼???ä¸????¥æ?´é??è¦???ä½??¨ã???????¾ä»¥??????社交åª?ä½??°æ????ä¿?å­??¨å???°ç???¨æ?·å??好æ?°æ????代ç????管æ?°æ???ä»??·æ??å¼???空é?´ï?è¿?ä¹?å°???为æ?°æ???·å??ç«???ä¼??¿ï???ç»???è¿?äº?ç§????°æ?????????????°æ???è¿?ä¸?æ­¥æ?¾å¤§è¿?äº????¸æ?°æ?????ä¼??¿ã??

????æ­¤å?????模å??ä½???ä»??¶å?¨æ?????°å???ï¼?大é????????èµ??????¥æ???»ç??°å?¥è??????è¦???ç´????¨è??»ä?å¹´å??ï¼???ä»????°äººå·¥æ?ºè?½æ¨¡????????½é?½å?¨å??¾ä???ç½?ç§???大å??ä½?为å?¶è??????ä¾???ï¼?主è???ä¸?ï¼??½å?å¾??°å??足è?????¶é?´å??ä¸?æ±?产å?ºç??èµ???????ï¼?2ï¼?ä¾???äº???ç½?大å????????äº?ç­??¸å?³è?æº?è¿?ä¸?æ­¥é??ä½???ï¼???ï¼??·å??äº???ç½?大å???¿æ??以æ?¥æ??ç§?´¯??ä¼?è´¨æ?°æ?????è¿?ä¹?????ä»????°ä¸ºä»?ä¹??¨è??»ä?å¹´å??人工?ºè?½å¤´?¨å??????æ¸?ä»?å¼?æº?èµ°å?????ï¼??©ç?¨å?¶è?æº?ä¼??¿æ?¥æ????å·??????AI模å??ï¼????½å?????´å?????è¿?å¼?æº???模å?以æ?缩å?ä¸?头é?¨å??????è·?离ã??

?????????¢é????å·¥ç??½å?????³å????¸å?¨å¤§è¯??模å??ç«?äº??????þ??ä¸???è¦???ç´???????è¯??模å????ä½?ç§???????ï¼??¨ç??究æ?¹æ?ä¸??°ä???亿é??级ç??模å??ä¸?ä¹???????亿é??级ç??å°?模å??????äº???´¨????ï¼?ä¸??å·¥ç?å¸?没æ???½å????è¿?????èµ?æº?ç§?´¯å¯¹å¤§æ¨¡å????å­þ??ç»?éª???ä¸?ä¸????¼ç??大模???????¢é????è¦?ä¾???大å???¸ç??èµ?æº????????½ç§¯ç´??模å??è°?è¯???ä¼?????å®????¨ç½²ç­???ä¸?????足å???ç»?éª???ä¼?ç§???å·¥ç?人æ??ç¨?缺以???¹å?»é?¾åº¦è®©æ²¡??ç»?éª????°å???¸è??¥æ?´ä¸º?°é?¾ï?å¦?ä½??????°ä?ä¸?¤§æ¨¡å??é¢???ç»?éª?丰å???ä¸?家并?¨å?¶å½±???????ºç?ä¸??????¥è???大å???¸ç????ä¸?å®?å·¥ç?ç»?éª????¢é??å°???为æ?°å?¥å???¸ç???¸å??????

??????ç®??????????ä½???????ç»????å¿???ä¸???è¶??¿ã??

?????¹æ????ä»????ç³»å???¥å????æµ?ç®?ï¼?å°½ç?人工?ºè?½æ¨¡?????»ç???????¥æ??ç»??¨æ??é«?ï¼?ä½?主è??????¥è???模å??ä½?ç§??????°å?å¢??¿ï???人工?ºè?½æ¨¡??????ä½????????ä¸???è¶??¿ã??

?????¨æ?¨ç??ç«?»¥?¸å??模å??为ä?ï¼???020å¹´æ?¹æ??tanford讲å?Mourri??æµ?ç®?ï¼?è®??GPT-3??????º¦ä¸?60ä¸?ç¾?????????022å¹´å?ï¼??¹æ????ä»??????°æ?ç®?è®?????·ç??GPT-3模å???¨ä¸¤å¹´å?????????è¦?150ä¸?ç¾???ï¼????????äº?66ï¼?以ä????¨æ¨¡???¨ç??ç«?»¥ChatGPT为ä?ï¼??¹æ????ä»???022å¹´å???æµ?ç®?ï¼?ChatGPT????ä¸?次å??ç­???????º¦??-2ç¾???ä¹??´ã????ä»?3??2??penAIå¯?hatGPT API??å®?ä»·å?ºï?0.2ç¾???æ¯?1000tokens??å®?ä»·å?åº?为ç?¾äº¿???°çº§????模å????ç»???ChatGPT?¨è?ç»?è¿?ç¨?ä¸???使ç?¨å?Reward Modelï¼?å¥??±æ¨¡??ï¼?è®°å?äº?人类??好ï?åº?为å??亿å???°çº§????模å??ï¼?è¿?ä¹????³ç??OpenAIå°??¶å?¨å??亿å???°æ¨¡??ä¸???å­þ???°ç???½å????è¿?类似äº??¸é?ï¼?distillationï¼????¹å?æµ?缩è?äº??¾äº¿???°ç??模å??ä¸??å¿?????ä½?äº???????????¹æ???????¨æ?·å?¨ç¤¾äº¤å?ä½?????é¦?ç»?????ï¼?è¿?ä¸??¾äº¿???°æ¨¡?????½å??以å??追平???³è?è¶?äº???????大尺寸模????

??????æ­¤æ??论æ??¨¡???¨ç??ç«???è®??ç«????ä»??½è?å¯??°å??ä½??????¨æ??ç»????ä¸?????è¶??¿ï????»æ????????ç»???é«??¥æ?äº?模å??大å?????ç»????以å???¨æ?·æ?°é????å¢?????å½????¥æ¨¡??大å?ä¸??¥æ´»?¨æ?·æ?°æ?¥è????¼å??ï¼????????ä¼???å°?ä¼??¶æ??模å???´ä????????¨è??ï¼?ä¹???ä¾?ç»?ä¸?äº?ä¸?????¸å???¥å???´é??????ºä?ï¼???ç»?å½¢æ??ï¼?AI巨头??ä¾?æ³??¨æ?§æ¨¡??以å?????¡ä¸»è¦?ToC??æ±?ï¼?ä¸?????¸å???¥ç?¹å????´è?ä¸?并æ?¹æ????æ±???å¾??ä¼???模å?????¼å???

?????????¥å???ï¼???è¿???件ç??©å?大è?è¨?模å??ï¼?LLMï¼??½å??è¾¹ç????

????????å°????¸è?½ç?¶æ²¡???½å??????åº?å±???大è?è¨?模å??ï¼?ä½??¶å??»¥??è¿?å¾????å½¢å????¡å???´é???????æ±?????ä»??ä¸?penAIä¸???份å??hatGPTä¸??¨å?ºç????件æ?¥å?£æ??¸ºäº??¥å?¥å????¸ç??å¾????????ä¸?次å?è¯?ï¼?ç¬???¹å????å°???»¥???????°æ??????¨å??ç®?æ³?ä½?ä¸?hatGPTä¹?ä¸?????件ï?ChatGPT??»¥è°??¨æ??件中??å¤???PI?¥å?£æ?¥è?·å?ä¿¡æ??????件æ??ä¾???使ç? OpenAPI ????ç¼??? API ï¼??¶å??è¿?ä¸?PIä¼?è¢??è¯???ä¸?ä¸?rompt?? ChatGPT 解é??å¦?ä½?使ç? API ?¥å?强å?¶ç?æ¡???å½??¨æ?·é???©å?åº???件å??ï¼?å¦??? ChatGPT 认为åº?该ä? API ?·å??ä¿¡æ???å®?å°????ºè?æ±?并å?¨å?è¯???åº?ä¹???å°?ä¿¡æ??·»???°ä?ä¸???ä¸?????è¿???件æ?¥å?£è?ä¸?模å?ç®???äº?å°????¸å?大è?è¨?模å??å¾?????¾åº¦ï¼?并丰å¯?äº??ºä?大è?è¨?模å??ä¹?ä¸???????????????¶é??è¿?å¤????????解ã???¾æ?¥å??¨ç?¥è?&å·¥å?·ï?æ¯?å¦???件ï?ç­?å¢?强è?è¨?模å???¹å?ï¼?äºþA?½æ????解å?³ç?°æ??大è?è¨?模å???¨é????????§ã??ä¿¡æ?????¶æ?§ç??¹é?¢ç???ºæ??缺é?·ã??

??????é£??©å??ç´?ï¼?

????AI?¸å???????å±?ä¸???é¢???é£??©ï?ç§???é¢????¿ç???管æ??ç»??¶ç´§é£??©ï??¨ç??å®?è§?ç»?æµ?å¤???ä¸???é¢???é£??©ï?å®?è§?ç»?æµ?æ³¢å?¨å??´æ?ç¾?ä¼?ä¸?IT???ºä???é¢???é£??©ï?AIæ½??¨ä¼¦??????å¾·ã???¨æ?·é??ç§?é£??©ï?ä¼?ä¸??°æ????²ã??ä¿¡æ????¨é??©ï?è¡?ä¸?ç«?äº???ç»????§é??©ç???

????????èµ?ç­??¥ï?

????ChatGPT?¨å?¨ç??AI产ä??????????å¸þ=?¥ç????¥½ç¤ºè????åº?ï¼??????¨å??Iç®?æ³?模å??ç»???å½?????????·¯çº¿å????ï¼?并ä?????ä»?PT为主导ç??大è?è¨?模å??ï¼?LLMï¼???? ¬??ä¸???维度ï¼?大è?è¨?模å??+???´å??ç¾?å­þ9??é¢?计ä?å°?????ä»?????¼è????¨äººå·¥æ?ºè?½ç???????½è·¯çº¿ã??ä½?为中?????·ç¡®å®??§ç??产ä??¹å??ä¹?ä¸?ï¼???ä»???ç»???好å?¨ç??AIé¢???????èµ??ºä?ï¼?并建è®???ç»????þA??????ç®???设æ?½ã??模å???¶æ??&å·¥ç?å®?è·µã??åº??¨å?ºæ????¸å???????