在線服務(wù)機(jī)器人,可接受用戶主動(dòng)提問(wèn),為用戶提供咨詢、問(wèn)診、查詢等服務(wù),對(duì)接官方渠道,能夠?yàn)橛脩魝鬟_(dá)專業(yè)真實(shí)的疫情動(dòng)態(tài),幫助用戶輕松快速地獲取想要了解的信息。
為了讓更多民眾獲得專業(yè)的咨詢服務(wù),便于相關(guān)單位根據(jù)需求選擇合適的產(chǎn)品,中國(guó)人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟(以下簡(jiǎn)稱:AIIA聯(lián)盟)通過(guò)技術(shù)測(cè)試、材料審查和企業(yè)披露等方式,依托中國(guó)信息通信研究院和人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室,開(kāi)展了面向疫情防控在線服務(wù)機(jī)器人的評(píng)估測(cè)試。捷通華聲作為AIIA聯(lián)盟成員,攜新冠肺炎疫情防控智能機(jī)器人系統(tǒng)(靈云智能客服)參與此次評(píng)選,且在各項(xiàng)指標(biāo)上均有出色表現(xiàn)。
參評(píng)企業(yè)及產(chǎn)品名單:
1、基礎(chǔ)功能測(cè)評(píng)結(jié)果
本輪評(píng)測(cè)系統(tǒng)測(cè)試了疫情防控在線服務(wù)機(jī)器人的多渠道管理、富媒體消息互動(dòng)、情緒安撫等六項(xiàng)基礎(chǔ)功能指標(biāo)。
靈云智能客服對(duì)多渠道進(jìn)行整合,通過(guò)構(gòu)建統(tǒng)一知識(shí)庫(kù),集成最新權(quán)威疫情防控信息。用戶通過(guò)電話、網(wǎng)頁(yè)、微信、APP等渠道進(jìn)行咨詢時(shí),智能客服均能在后臺(tái)進(jìn)行回復(fù),保證用戶的每一次咨詢都得到最及時(shí)的反饋。 為了讓用戶獲得更直觀易懂的信息,靈云智能客服可以根據(jù)渠道的不同,靈活選擇最優(yōu)形式展現(xiàn)答案。比如,當(dāng)用戶使用移動(dòng)設(shè)備咨詢的時(shí)候,智能客服可以提供文字、圖片、圖文、視頻等答案形式。當(dāng)用戶使用網(wǎng)頁(yè)時(shí),系統(tǒng)可提供鏈接,方便用戶直接瀏覽答案。
2、業(yè)務(wù)功能測(cè)評(píng)結(jié)果
本輪評(píng)測(cè)系統(tǒng)測(cè)試了疫情防控在線服務(wù)機(jī)器人的疫情查詢、問(wèn)題咨詢、自診問(wèn)診等五項(xiàng)業(yè)務(wù)功能指標(biāo)。
業(yè)務(wù)功能測(cè)試結(jié)果(來(lái)源:AIIA
針對(duì)不同疫情防控場(chǎng)景,評(píng)測(cè)人員選取了不同的測(cè)試數(shù)據(jù),根據(jù)產(chǎn)品對(duì)語(yǔ)料的反饋相關(guān)度設(shè)置了0-4分五級(jí)評(píng)分標(biāo)準(zhǔn)。通過(guò)測(cè)試結(jié)果得出,多數(shù)產(chǎn)品對(duì)咨詢、問(wèn)診和防控業(yè)務(wù)場(chǎng)景支持能力較好,高效回復(fù)率分別達(dá)到35.6%、40.9%、45.0%,有效回復(fù)率分別達(dá)到70.6%、63.4%、60.0%。 靈云智能客服搭載捷通華聲自主研發(fā)的NLU技術(shù),具備強(qiáng)大的自學(xué)習(xí)功能。從知識(shí)庫(kù)建設(shè)初期,到上線后的知識(shí)優(yōu)化,整個(gè)過(guò)程中都滲透著機(jī)器自學(xué)習(xí)。自學(xué)習(xí)能夠輔助人工進(jìn)行便捷快速的知識(shí)加工,減少運(yùn)營(yíng)人員的投入,這讓靈云智能客服能夠以最低的人力成本,迅速更新知識(shí),增加新的常見(jiàn)問(wèn)答對(duì)和擴(kuò)展問(wèn)。
3、性能指標(biāo)測(cè)評(píng)結(jié)果
智能疫情防控在線服務(wù)機(jī)器人的核心技術(shù)是自然語(yǔ)言處理和對(duì)話系統(tǒng),產(chǎn)品能否準(zhǔn)確識(shí)別對(duì)話中的關(guān)鍵詞,并理解用戶意圖成為服務(wù)效果的關(guān)鍵,因此本次評(píng)測(cè)選取意圖理解和關(guān)鍵詞識(shí)別作為核心性能指標(biāo)。
性能指標(biāo)測(cè)試結(jié)果(來(lái)源:AIIA)
總體來(lái)看,各家參評(píng)產(chǎn)品在關(guān)鍵詞識(shí)別和意圖理解能力上參差不齊,準(zhǔn)確率最高值與最低值相差都超過(guò)了50個(gè)百分點(diǎn)。在關(guān)鍵詞識(shí)別能力上,有6款產(chǎn)品的準(zhǔn)確率超過(guò)60%,基本可以識(shí)別出“新型冠狀病毒”、“N95口罩”、“發(fā)燒干咳”、“密切接觸者”等疫情強(qiáng)相關(guān)詞匯,以進(jìn)行關(guān)鍵詞匹配和擴(kuò)展,確保答復(fù)的準(zhǔn)確性和豐富性。在意圖理解能力上,有7款產(chǎn)品的準(zhǔn)確率超過(guò)50%,可對(duì)用戶提出的問(wèn)題有針對(duì)性的進(jìn)行答復(fù)、相關(guān)問(wèn)題推送和情緒安撫,從而提供精確、及時(shí)、有效的服務(wù)。 用戶進(jìn)行咨詢時(shí),經(jīng)常有口語(yǔ)化、信息零散的問(wèn)法,提問(wèn)方式也比較隨意。為了更大限度地理解用戶要詢問(wèn)的問(wèn)題,靈云智能客服研發(fā)了逐字聯(lián)想功能,即根據(jù)用戶輸入的每一個(gè)字推薦他可能想要詢問(wèn)的問(wèn)題。比如,用戶只需要輸入“疫情”兩個(gè)字,輸入欄上方就會(huì)出現(xiàn)與“疫情“相關(guān)的完整問(wèn)題,比如”當(dāng)?shù)胤窝滓咔閷?shí)時(shí)動(dòng)態(tài)“,用戶只需點(diǎn)擊即可獲取答案。
其次,用戶提問(wèn)后,靈云智能客服在給出答案后,還會(huì)為用戶推薦相關(guān)問(wèn)題,方便用戶快速了解更多相關(guān)信息。
咨詢時(shí)字寫(xiě)錯(cuò)了,也不用擔(dān)心。智能糾錯(cuò)功能會(huì)直接為用戶匹配正確問(wèn)題的答案。如用戶問(wèn)“怡情防控知識(shí)”,系統(tǒng)會(huì)自動(dòng)將問(wèn)題糾正為“疫情防控知識(shí)”,并給出回答。
即便在用戶問(wèn)題模糊的情況下,靈云智能客服也能根據(jù)關(guān)鍵字初步判斷用戶意圖,并引導(dǎo)用戶明確問(wèn)題,最終給出答案。
4、運(yùn)營(yíng)情況統(tǒng)計(jì)與分析
在本輪評(píng)測(cè)中,除上述功能和性能指標(biāo)外,還統(tǒng)計(jì)了截至2月12日各參評(píng)產(chǎn)品的訪問(wèn)量、交互量以及用戶平均在線時(shí)長(zhǎng)情況。
如圖所示,從訪問(wèn)量上看,超七成產(chǎn)品的總訪問(wèn)量達(dá)到了百萬(wàn)級(jí),其中總訪問(wèn)量超過(guò)二百萬(wàn)和三百萬(wàn)的產(chǎn)品約占三成;從日均訪問(wèn)量上看,約70%的產(chǎn)品日均訪問(wèn)量在一萬(wàn)到二十萬(wàn)之間,僅有10%的產(chǎn)品突破了二十萬(wàn)大關(guān);從交互量上看,約75%的產(chǎn)品總交互量超過(guò)了百萬(wàn)條,約78%的產(chǎn)品日均交互量超過(guò)一萬(wàn)條;從用戶平均在線時(shí)長(zhǎng)上來(lái)看,超五成產(chǎn)品達(dá)到了2分鐘以上,約37%的產(chǎn)品用戶平均在線時(shí)長(zhǎng)不足1分鐘,另外平均在線時(shí)長(zhǎng)超過(guò)3分鐘的產(chǎn)品數(shù)約占36%。 目前,捷通華聲已幫助多地區(qū)上線新冠病毒肺炎疫情防控智能機(jī)器人系統(tǒng),幫助各地居民了解最新權(quán)威疫情防控信息。在未來(lái)工作中,我們將繼續(xù)完善富媒體交互形式,以更加清晰易懂且多樣化的形式向用戶宣傳防疫知識(shí)。