7月17日，由中國(guó)移動(dòng)研究院、中國(guó)移動(dòng)技術(shù)能力評(píng)測(cè)中心主辦了“2023年大模型評(píng)測(cè)及應(yīng)用研討會(huì)”，會(huì)議旨在共同探討大模型評(píng)測(cè)體系、應(yīng)用實(shí)踐、產(chǎn)業(yè)標(biāo)準(zhǔn)及合作生態(tài)等議題，推動(dòng)大模型技術(shù)的廣泛應(yīng)用和發(fā)展。中國(guó)中文信息學(xué)會(huì)副理事長(zhǎng)馬少平、中國(guó)移動(dòng)研究院副院長(zhǎng)段曉東出席會(huì)議并致辭。

　　會(huì)上，中國(guó)移動(dòng)研究院聯(lián)合北京郵電大學(xué)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、北京市科學(xué)技術(shù)研究院、科大訊飛、百度、武漢大學(xué)和重慶理工大學(xué)等知名高校、科研機(jī)構(gòu)和頭部企業(yè)聯(lián)合發(fā)布了《“弈衡”通用大模型評(píng)測(cè)體系白皮書》。該白皮書是行業(yè)中首個(gè)大模型評(píng)測(cè)領(lǐng)域白皮書，基于客觀全面、公平公正和用戶視角的三大原則，創(chuàng)新性地提出了“2-4-6”的“弈衡”通用大模型評(píng)測(cè)體系。該體系將評(píng)估場(chǎng)景劃分為基礎(chǔ)任務(wù)和應(yīng)用任務(wù)，明確四項(xiàng)主要評(píng)測(cè)要素，并制定涵蓋六大維度的50余個(gè)評(píng)測(cè)指標(biāo)。“弈衡”評(píng)測(cè)體系可對(duì)國(guó)內(nèi)外大模型開展有效評(píng)測(cè)分析，充分揭示大模型在應(yīng)用中的固有問題，客觀反映各模型在準(zhǔn)確性、可靠性以及安全性等方面的差異，為大模型的評(píng)測(cè)實(shí)踐和產(chǎn)業(yè)應(yīng)用提供指導(dǎo)。

　　

 

　　來自中國(guó)移動(dòng)、北京郵電大學(xué)、中國(guó)科學(xué)院計(jì)算技術(shù)研究所、信通院、科大訊飛、百度等多家單位的領(lǐng)導(dǎo)和專家，圍繞運(yùn)營(yíng)商大模型發(fā)展思路、CV大模型前沿技術(shù)、國(guó)內(nèi)優(yōu)秀大模型發(fā)展?fàn)顩r、大模型基礎(chǔ)設(shè)施和生態(tài)、行業(yè)評(píng)測(cè)標(biāo)準(zhǔn)等主題，在會(huì)上發(fā)表了精彩演講，為推動(dòng)大模型技術(shù)發(fā)展奉獻(xiàn)了一場(chǎng)知識(shí)盛宴，引起了線上線下與會(huì)觀眾的熱烈反響。

　　此外，會(huì)上正式成立CCIR大模型評(píng)測(cè)工作組，并發(fā)布“2023 CCIR全國(guó)信息檢索挑戰(zhàn)杯”中國(guó)移動(dòng)賽道賽題。