復(fù)旦教授邱錫鵬:MOSS大模型擬3月底開源
2023-02-27 13:00
文本設(shè)置
小號(hào)
默認(rèn)
大號(hào)
Plus(0條)
據(jù)邱錫鵬透露,“MOSS大模型計(jì)劃在一個(gè)月之內(nèi),和人類不斷交互,進(jìn)行優(yōu)化,順利的話將于3月底開源?!?“大型語言模型幾乎被國外壟斷,并且他們只開發(fā)API或不開放給我們,我們就沒有關(guān)于大型語言模型的一手材料。我們希望把MOSS以及模型代碼和開發(fā)經(jīng)驗(yàn)分享給大家,希望國內(nèi)在大型語言模型方面能夠站在世界前沿。” | 相關(guān)閱讀(澎湃新聞)
46
無根生一
復(fù)旦大學(xué)邱錫鵬教授團(tuán)隊(duì)開源的MOSS,名字與《流浪地球》電影中的 AI 同名 ,讓人充滿想象。ChatGPT 之風(fēng)席卷科技界,邱錫鵬教授團(tuán)隊(duì)的大型語言模型 MOSS以及“開源”理念,在國內(nèi)給這股風(fēng)加了勢。
在國外,微軟上線了新必應(yīng)搜索,谷歌也發(fā)布了ChatGPT的競品 BARD,國內(nèi)復(fù)旦大學(xué)首家發(fā)布類 ChatGPT 模型 MOSS,并邀公眾參與內(nèi)測。MOSS開發(fā)的基本步驟與ChatGPT一樣,包括自然語言模型的基座訓(xùn)練、理解人類意圖的對(duì)話能力訓(xùn)練兩個(gè)階段。復(fù)旦團(tuán)隊(duì)通過讓MOSS和人類以及其他對(duì)話模型都進(jìn)行交互,顯著提升了學(xué)習(xí)效率和研發(fā)效率,短時(shí)間內(nèi)就高效完成了對(duì)話能力訓(xùn)練。
MOSS發(fā)布內(nèi)測后,服務(wù)器流量過載。MOSS官網(wǎng)發(fā)布公告稱,MOSS還是一個(gè)非常不成熟的模型,距離ChatGPT還有很長的路需要走。正如邱錫鵬教授所說,開源能讓整個(gè)科研過程形成良性閉環(huán)。相信MOSS的開源,通過模型代碼和開發(fā)經(jīng)驗(yàn)的分享,能夠?yàn)閲鴥?nèi)大型語言模型建設(shè)助力。
2
丹哥
意義深遠(yuǎn)