隨著5G網(wǎng)絡(luò)的快速建設(shè)、AI智能技術(shù)和視頻通訊技術(shù)的快速發(fā)展，多種技術(shù)融合帶來(lái)新的解決方案，服務(wù)與更多的金融業(yè)務(wù)場(chǎng)景。本方案借助微信小程序視頻平臺(tái)，與AI智能雙錄平臺(tái)實(shí)現(xiàn)無(wú)縫融合，實(shí)現(xiàn)AI虛擬機(jī)器人智能雙錄系統(tǒng)，提高用戶(hù)體驗(yàn)、降低人工成本。

　　本方案采用AI智能技術(shù)、虛擬人技術(shù)、視頻通訊技術(shù)的無(wú)縫融合，提供AI智能虛擬人雙錄解決方案，通過(guò)4G/5G通訊鏈路服務(wù)于車(chē)貸用戶(hù)。

　　1) ASR語(yǔ)音識(shí)別技術(shù):通過(guò)ASR識(shí)別用戶(hù)回答的問(wèn)題；

　　2) TTS文本轉(zhuǎn)語(yǔ)音技術(shù)：通過(guò)TTS播報(bào)業(yè)務(wù)流程話(huà)術(shù)；

　　3) 業(yè)務(wù)流程配置管理：可動(dòng)態(tài)配置業(yè)務(wù)流程，相關(guān)業(yè)務(wù)中話(huà)術(shù)的參數(shù)自定義等；

　　4) 視頻客服通訊平臺(tái)：提供實(shí)時(shí)的雙向視頻交互服務(wù)能力平臺(tái)、虛擬人視頻技術(shù)、實(shí)時(shí)雙錄功能；

　　5) 虛擬人與視頻客服平臺(tái)融合技術(shù)：虛擬人與用戶(hù)進(jìn)行視頻的技術(shù)融合，虛擬人音話(huà)同步，提供真實(shí)的用戶(hù)體驗(yàn)；

　　6) 微信小程序接入網(wǎng)關(guān)：提供微信小程序視頻與視頻客服平臺(tái)通訊接入能力；

　　7) 人臉識(shí)別技術(shù)：實(shí)時(shí)識(shí)別用戶(hù)人臉，保證業(yè)務(wù)辦理過(guò)程中為用戶(hù)本人單獨(dú)辦理；

　　8) 微信小程序SDK:提供Highlevel的SDKAPI，簡(jiǎn)單易用的與小程序快速集成；

　　9) 業(yè)務(wù)流程管理：智能業(yè)務(wù)流程管理，根據(jù)業(yè)務(wù)場(chǎng)景

　　用戶(hù)通過(guò)微信小程序辦理車(chē)貸業(yè)務(wù)視頻審核錄制，接通AI視頻客服后，通過(guò)人臉識(shí)別技術(shù)進(jìn)行身份核實(shí)，通過(guò)TTS技術(shù)與ASR技術(shù)的整合，回答審核過(guò)程中的問(wèn)題，直到業(yè)務(wù)辦理完成。業(yè)務(wù)辦理過(guò)程全程錄音、錄像，并保留業(yè)務(wù)辦理數(shù)據(jù)，提交業(yè)務(wù)系統(tǒng)進(jìn)行人工審核或智能審核。

　　穩(wěn)定性原則：產(chǎn)品成熟穩(wěn)定，系統(tǒng)應(yīng)有健全的安全防范措施，對(duì)于關(guān)鍵應(yīng)用或模塊實(shí)現(xiàn)設(shè)備冗余，應(yīng)用集群、數(shù)據(jù)庫(kù)集群，系統(tǒng)應(yīng)能在正常和高峰業(yè)務(wù)處理中穩(wěn)定運(yùn)行，提供連續(xù)可靠的服務(wù)。實(shí)現(xiàn)流量控制、差錯(cuò)處理、重發(fā)機(jī)制、超時(shí)控制，以滿(mǎn)足大數(shù)據(jù)量和大交易量下實(shí)時(shí)聯(lián)機(jī)交易要求，批量數(shù)據(jù)處理和聯(lián)機(jī)交易處理間不互相影響，保障系統(tǒng)7*24小時(shí)正常運(yùn)行，保證系統(tǒng)運(yùn)行的連續(xù)性和穩(wěn)定性。

　　安全性原則：系統(tǒng)應(yīng)采用完善的安全保密機(jī)制，保證各種數(shù)據(jù)不被破壞、非法訪(fǎng)問(wèn)和惡意修改，保證客戶(hù)和銀行交易數(shù)據(jù)的正確性、完整性、一致性、安全性。

　　實(shí)用性原則：系統(tǒng)必須保證其實(shí)用性，切實(shí)符合本行的建設(shè)要求，全面滿(mǎn)足業(yè)務(wù)需求。系統(tǒng)應(yīng)具有友好的用戶(hù)界面，操作簡(jiǎn)便、高效。

　　易于維護(hù)性原則：系統(tǒng)設(shè)計(jì)應(yīng)便于維護(hù)，遵循模塊化、組件化、參數(shù)化的原則，易于改造和擴(kuò)展，可靈活設(shè)置，方便維護(hù)和管理。系統(tǒng)能夠提供全面的系統(tǒng)管理和維護(hù)平臺(tái)，便于技術(shù)人員維護(hù)。

　　交易監(jiān)控原則：為便于技術(shù)維護(hù)人員掌握系統(tǒng)交易運(yùn)行情況。監(jiān)控應(yīng)清晰明了，提供操作日志和交易日志等可審計(jì)數(shù)據(jù)的存儲(chǔ)、查詢(xún)，便于技術(shù)維護(hù)人員進(jìn)行系統(tǒng)維護(hù)，應(yīng)提供完備自動(dòng)的日志備份和清理機(jī)制。

　　數(shù)據(jù)標(biāo)準(zhǔn)化原則：系統(tǒng)建設(shè)應(yīng)符合數(shù)據(jù)管理的工業(yè)標(biāo)準(zhǔn)、金融行業(yè)規(guī)范，符合人民銀行和銀保監(jiān)會(huì)各類(lèi)監(jiān)管標(biāo)準(zhǔn)要求。

　　開(kāi)放性原則：軟硬件平臺(tái)和數(shù)據(jù)庫(kù)系統(tǒng)應(yīng)具備開(kāi)放性，系統(tǒng)提供豐富的外部接口。

　　效率性原則：系統(tǒng)的建設(shè)應(yīng)具備業(yè)務(wù)和技術(shù)上有前瞻性，系統(tǒng)設(shè)計(jì)架構(gòu)合理，處理效率高，資源占用率低，避免過(guò)多的數(shù)據(jù)冗余。不僅能滿(mǎn)足現(xiàn)階段業(yè)務(wù)需求，也要充分考慮滿(mǎn)足未來(lái)3-5年的業(yè)務(wù)發(fā)展需要，具備一定的創(chuàng)新引領(lǐng)能力。

　　可擴(kuò)展原則：系統(tǒng)設(shè)計(jì)應(yīng)當(dāng)具備良好的擴(kuò)展能力，包括處理能力的擴(kuò)展和數(shù)據(jù)接入的擴(kuò)展性，系統(tǒng)開(kāi)發(fā)遵循組件化、模塊化、參數(shù)化、高內(nèi)聚、松耦合的設(shè)計(jì)原則，保證軟件系統(tǒng)架構(gòu)易于改造和擴(kuò)展，提高軟件的復(fù)用性、可維護(hù)性和開(kāi)發(fā)效率，以適應(yīng)我行未來(lái)發(fā)展中對(duì)系統(tǒng)性能或功能提升的要求。

　　對(duì)新業(yè)務(wù)的前瞻性：AI小程序視頻虛擬面簽解決方案提供的功能能完全符合現(xiàn)有需求，不增加與需求無(wú)關(guān)的冗余功能，同時(shí)還保證在未來(lái)幾年內(nèi)，隨著業(yè)務(wù)的創(chuàng)新，系統(tǒng)可以適應(yīng)需求的變化，只需擴(kuò)展相應(yīng)的功能模塊或并發(fā)許可即可滿(mǎn)足未來(lái)業(yè)務(wù)的升級(jí)。

　　可升級(jí)為人工視頻客服服務(wù)平臺(tái)，為本行提供AI智能雙錄及人工視頻客服服務(wù)能力，鑒于利舊性原則，系統(tǒng)應(yīng)具備現(xiàn)有服務(wù)環(huán)境擴(kuò)展新的服務(wù)組件即可滿(mǎn)足未來(lái)的業(yè)務(wù)需求。

　　未來(lái)可和語(yǔ)音平臺(tái)實(shí)現(xiàn)統(tǒng)一路由、統(tǒng)一報(bào)表、統(tǒng)一排隊(duì)等功能，節(jié)省行內(nèi)建設(shè)成本。

項(xiàng)目	建議配置
微信小程序	IOS：9.0及以上、iPhone6及以上
	Android：6.0及以上

系統(tǒng)網(wǎng)絡(luò)架構(gòu)圖

　　系統(tǒng)投入使用后，一期支持10并發(fā)在線(xiàn)用戶(hù)接入，系統(tǒng)要保證支持10用戶(hù)并發(fā)情況下系統(tǒng)的穩(wěn)定運(yùn)行，不能飽和擁塞；系統(tǒng)設(shè)計(jì)能力支持32用戶(hù)單機(jī)接入能力。

　　1）具備智能抗丟包能力，網(wǎng)絡(luò)延時(shí)短，確�？蛻�(hù)在聯(lián)通、移動(dòng)、電信等運(yùn)營(yíng)商網(wǎng)絡(luò)下業(yè)務(wù)辦理的流暢，畫(huà)面不卡頓；

　　2）正常網(wǎng)絡(luò)環(huán)境下，AI視頻開(kāi)畫(huà)時(shí)間<3秒；

　　3）微信小程序網(wǎng)絡(luò)延時(shí)小于1000ms，保障業(yè)務(wù)辦理的流暢性；

　　4）接通成功率大于95%；

　　5）視頻清晰度支持360P-720P；

　　6）滿(mǎn)足客戶(hù)國(guó)內(nèi)以及國(guó)外主要地區(qū)發(fā)起互動(dòng)視頻的能力，視頻畫(huà)面清晰流暢不卡頓；

　　7）系統(tǒng)所有統(tǒng)計(jì)分析功能的響應(yīng)時(shí)間不超過(guò)3秒。

　　用戶(hù)在視頻面簽時(shí)實(shí)時(shí)采集人臉照片，調(diào)用人臉識(shí)別接口動(dòng)態(tài)對(duì)比身份證照片和人臉照片，確認(rèn)是否為用戶(hù)本人使用本人身份證辦理業(yè)務(wù)。

　　視頻面簽小程序SDK提供能力如下：

　　1) 發(fā)起視頻呼叫：接通AI虛擬視頻客服，辦理面簽業(yè)務(wù)。

　　2) 結(jié)束視頻呼叫：結(jié)束AI虛擬視頻客服對(duì)話(huà)，完成或終止業(yè)務(wù)辦理。

　　3) 顯示地位位置：實(shí)時(shí)動(dòng)態(tài)獲取手機(jī)的地位位置信息，提供精確的位置信息，并上傳業(yè)務(wù)系統(tǒng)。

　　4）視頻通話(huà)中抓取人臉照片

　　用戶(hù)辦理業(yè)務(wù)的過(guò)程全程錄音錄像，生成單一的MP4錄像文件。

　　1) 用戶(hù)視頻、音頻

　　2) AI虛擬人視頻、音頻

　　3) 用戶(hù)微信小程序UI：用戶(hù)手機(jī)位置信息

　　4) 用戶(hù)微信小程序UI：用戶(hù)手機(jī)中時(shí)間戳信息

　　5) 用戶(hù)微信小程序UI：企業(yè)logo及背景。

　　6) 支持虛擬人像背景更換

　　虛擬人像背景支持虛擬背景技術(shù)，可自定義背景圖片，可在服務(wù)器端配置更換背景圖片

　　業(yè)務(wù)場(chǎng)景：用戶(hù)在辦理業(yè)務(wù)錄制過(guò)程中，為保證用戶(hù)的人臉始終在視頻窗口內(nèi)，可以全程錄制用戶(hù)的人像，記錄在錄像中，需要使用人臉識(shí)別，判斷用戶(hù)的人臉是否在視頻窗口內(nèi)，如用戶(hù)人臉離開(kāi)視頻窗口，則給出提示。

　　視頻動(dòng)態(tài)人臉質(zhì)檢：每30S抓取人臉并發(fā)送人臉識(shí)別供應(yīng)商進(jìn)行比對(duì)，若不一致則提示用戶(hù)請(qǐng)保持。

　　微信小程序?qū)崟r(shí)獲取用戶(hù)當(dāng)前位置信息，并顯示在視頻通話(huà)頁(yè)面中，位置信息上傳業(yè)務(wù)系統(tǒng)進(jìn)行記錄。

　　中斷后支持彈窗通知，彈窗選擇退出或自動(dòng)退出

　　業(yè)務(wù)辦理過(guò)程中，如遇到中斷（用戶(hù)回復(fù)不符合業(yè)務(wù)流程），則彈窗提醒立即手動(dòng)結(jié)束，或倒計(jì)時(shí)自動(dòng)結(jié)束。

　　AI視頻平臺(tái)與行里業(yè)務(wù)系統(tǒng)集成對(duì)接，每筆呼叫攜帶隨路數(shù)據(jù)，上傳業(yè)務(wù)系統(tǒng)，生產(chǎn)相應(yīng)的訂單業(yè)務(wù)工單，業(yè)務(wù)工單關(guān)聯(lián)對(duì)應(yīng)的錄像錄音文件。

　　同一筆訂單如錄制第一次失敗，第二次失敗，第三次成功，則第一次和第二次錄制的文件保存X天，支持調(diào)用查看，訂單管理支持一筆訂單對(duì)應(yīng)多個(gè)錄像問(wèn)題。

　　AI視頻平臺(tái)提供錄像管理功能，支持錄像下載、錄像在線(xiàn)播放、錄像與業(yè)務(wù)系統(tǒng)關(guān)聯(lián)。

　　用戶(hù)在辦理業(yè)務(wù)過(guò)程中，每筆業(yè)務(wù)的錄像文件可關(guān)聯(lián)業(yè)務(wù)流水號(hào)，在業(yè)務(wù)系統(tǒng)中暖可記錄每筆雙錄業(yè)務(wù)的錄像下載地址，可關(guān)聯(lián)錄像文件，支持在業(yè)務(wù)系統(tǒng)中在線(xiàn)錄像播放、支持錄像下載。支持功能如下：

　　1) 錄像管理

　　2) 錄像下載

　　3) 在線(xiàn)播放

　　4) 生成錄音MP3文件

　　5) 生成錄像MP4文件

　　6) 錄像水印疊加，支持預(yù)制圖片水印、視頻交互中的時(shí)間戳水印、地理位置水印。

　　系統(tǒng)統(tǒng)支持話(huà)術(shù)自定義管理配置，可以根據(jù)業(yè)務(wù)場(chǎng)景配置不同的業(yè)務(wù)場(chǎng)景話(huà)術(shù)。AI視頻平臺(tái)提供話(huà)術(shù)配置管理方法，可以按照業(yè)務(wù)需求，靈活配置對(duì)應(yīng)的話(huà)術(shù)，及跟進(jìn)接入用戶(hù)的信息、業(yè)務(wù)工單，播放對(duì)應(yīng)的變量參數(shù)。

　　后期可結(jié)合NLP語(yǔ)音語(yǔ)義理解服務(wù)，提供智能業(yè)務(wù)場(chǎng)景處理。

序號(hào)	類(lèi)別	技術(shù)要求
1	系統(tǒng)架構(gòu)	系統(tǒng)支持高可靠、高并發(fā)、核心媒體組件支持負(fù)載均衡。
2	系統(tǒng)安全性	系統(tǒng)符合金融行業(yè)的安全要求： 支持HTTPS、TLS、RTSP等
3	跨平臺(tái)	支持Linux系統(tǒng)：CentOS、Redhat等。
4	應(yīng)用場(chǎng)景	車(chē)貸智能雙錄
5	錄音錄像	錄像格式：MP4 錄音格式：MP3
6	錄像方式	服務(wù)器在線(xiàn)實(shí)施錄制
7	TTS	定制音庫(kù)：僅需要2小時(shí)錄音樣本  方言口音：粵語(yǔ)、湖南話(huà)、維吾爾語(yǔ)、藏語(yǔ)、四川、東北等 Mos評(píng)分在3.8以上，離線(xiàn)效果在3.5以上。 文本處理正確率在95%以上，平均響應(yīng)時(shí)長(zhǎng)小于 3s/50字
8	ASR	轉(zhuǎn)寫(xiě)的WER在90%以上 支持流式接口，平均響應(yīng)速度應(yīng)小于10ms 支持普通話(huà)、粵語(yǔ)、四川話(huà)等混合識(shí)別 需支持智能斷句匹配標(biāo)點(diǎn)，置信息度 需支持?jǐn)?shù)字、日期、時(shí)間等實(shí)體識(shí)別，支持詞語(yǔ)屬性標(biāo)記和詞&句時(shí)間戳 文法格式智能轉(zhuǎn)換包括電話(huà)號(hào)碼、車(chē)牌、日期、時(shí)間以及量詞的規(guī)整，如“五點(diǎn)三十”引擎會(huì)識(shí)別規(guī)整為“5:30”
9	虛擬人像	自定義虛擬人像：支持自定義虛擬人像，提供虛擬人像錄制方式。 音唇同步：虛擬人像講話(huà)時(shí)嘴型與TTS播報(bào)的語(yǔ)音保持同步。
10	視頻質(zhì)量	360P及以上 微信小程序視頻延時(shí)不高于1m
11	視頻SDK	支持多層級(jí)SDK客戶(hù)可基于不同的層級(jí)的API與業(yè)務(wù)系統(tǒng)集成且可以深度定制開(kāi)發(fā)： 1） Business Scenario API 簡(jiǎn)單易用，適合需要快速上線(xiàn)，不需要了解音視頻通訊原理及深度開(kāi)發(fā)的客戶(hù)； 2） 協(xié)議層API : 提供協(xié)議控制、呼叫控制及業(yè)務(wù)控制API ，用戶(hù)可基于此類(lèi)API 深度定制業(yè)務(wù)流程； 3） MediaEngine API: 音視頻控制API，客戶(hù)可基于API控制音視頻流、自定義音視頻控制，與AI 相整合； 4） 音視頻編碼 API ：控制音視頻碼率、分辨率、幀率、音頻采樣率等；
12	音視頻編碼	音頻編碼: G711, G722, G723, G729, AMR NW/SW, SILK NW/WB, OPUS， ISAC, GSM, ILBC 視頻編碼 : H263, H264, H264 AVC/SVC, H.265 AVC/SVC, VP9 分辨率: QCIF, CIF, QVGA,VGA, 352P, 480P, 720P, 1080P, 4K 音頻引擎: AEC(echo cancellation), AGC (Auto Gain Control), PLC,  Jitter Buffer， CNG， VAD， NS 視頻引擎: Video encoding and decoding , Packet loss Recovery High level API 傳輸算法:  FEC,  Net Checker 傳輸協(xié)議: SIP/IMS, MRCP V2, RTP/RTCP/SRTP