9月2日至6日,2023中國國際服務貿易交易會在北京舉辦,作業幫受邀參展,并正式發布自研銀河大模型。在服貿會現場,銀河大模型在智能解題、知識問答、中英文寫作及AI伴學等方面的出色表現吸引了大量現場觀眾的互動體驗。
同時作業幫公布了銀河大模型在C-Eval、CMMLU兩大權威大語言模型評測基準的成績。數據顯示,作業幫銀河大模型表現卓越,以平均分73.7分位居C-Eval榜首;同時在CMMLU榜單Five-shot和Zero-shot測評中分別以平均分74.03分及73.85分位列第一,成為首個同時在上述兩大權威榜單平均分排名第一的教育大模型。
銀河大模型作為作業幫自主研發的大語言模型,深度融合作業幫多年的AI算法沉淀和教育數據積累,是一款專為教育領域量身打造的覆蓋多學科、多學段、多場景的教育大模型。它不僅具備高度的多學科知識解答能力,更能協助不同學段學生進行創意寫作,同時還能夠實現自主提問、陪伴式輔導等,助力學生個性化學習與成長。
作業幫銀河大模型的綜合實力在權威測評榜單中得到驗證。作為全球最具影響力的中文評測集之一,C-Eval是由清華大學、上海交通大學和愛丁堡大學合作構建的面向中文語言模型的綜合性考試評測集,包含13948道多項選擇題,涵蓋52個不同學科和四個難度級別。根據C-Eval排行榜的最新數據顯示,作業幫銀河大模型以平均分為73.7分位居榜首。
在由MBZUAI、上海交通大學、微軟亞洲研究院共同推出的CMMLU榜單中,作業幫銀河大模型表現同樣出色,在Five-shot和Zero-shot 測試中分別以74.03分及73.85分占據榜首。
據了解,CMMLU共涵蓋了67個主題,涉及自然科學、社會科學、工程、人文以及常識等。在CMMLU榜單中的卓越表現,再次印證了作業幫銀河大模型在知識儲備和語言理解方面的突出實力。
作業幫銀河大模型不僅在中文方面表現優異,在英文方面表現同樣不俗。由美國加州大學伯克利分校、哥倫比亞大學、芝加哥大學等高校聯合打造的全球性大規模多任務語言理解評測基準MMLU,在集合了科學、工程、數學、人文、社會科學等領域的57個科目的評測中,作業幫銀河大模型平均分高達71.88分,體現了其在英文領域的專業能力和問題解決能力。