Ultra-NLP是神州泰岳人工智能研究院研發(fā)的集機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)習(xí)、深度學(xué)習(xí)以及概念語義理解技術(shù)于一體的自然語言處理技術(shù)平臺。該平臺致力于打造一個(gè)業(yè)界持續(xù)領(lǐng)先的、完備的自然語言處理體系,以期快速、有效地解決自然語言處理領(lǐng)域中普遍存在的歧義理解、精準(zhǔn)分類、高純度聚類、精確信息提取、關(guān)聯(lián)信息挖掘等難點(diǎn)、痛點(diǎn)問題。平臺實(shí)現(xiàn)文本的語義理解和語義量化計(jì)算,提供高效的自然語言理解相關(guān)分析算法,包括自動分詞、實(shí)體識別、句法分析、文本分類、聚類、主題分析、歧義理解、自動摘要、關(guān)聯(lián)挖掘等。
Ultra-NLP整體能力可分為詞語、句子和篇章三個(gè)層面:
。1)詞語層面:使用HMM、CRF等統(tǒng)計(jì)學(xué)習(xí)技術(shù)實(shí)現(xiàn)精準(zhǔn)的自動分詞和發(fā)現(xiàn)新詞的能力。利用概念語義網(wǎng)絡(luò)模型,能夠符號化的表示詞匯的語義,自動識別詞語的一詞多義和多詞一義歧義現(xiàn)象,解決讓機(jī)器掌握詞匯的語義,并能正確提取句子中蘊(yùn)含的關(guān)聯(lián)性:同義、上下位、包含關(guān)系等。
(2)句子層面:利用語義網(wǎng)絡(luò)來自動識別句子中各概念間的語義關(guān)系,實(shí)現(xiàn)句子語義的歸一化處理,結(jié)合基于依存、n-gram、短語語法等語義理解技術(shù)實(shí)現(xiàn)的文法分析以及句子結(jié)構(gòu)分析,精確識別句子變形,深層理解句子表達(dá)語義。
。3)篇章層面:結(jié)合機(jī)器學(xué)習(xí)、深度學(xué)習(xí)以及概念語義網(wǎng)絡(luò)模型,正確分析篇章中上下文語境特征,實(shí)現(xiàn)分類、聚類、關(guān)鍵信息提取以及句群的切分與合并等篇章級分析能力。
Ultra-NLP優(yōu)勢
語義處理技術(shù)具備領(lǐng)先性
Ultra-NLP是神州泰岳人工智能研究院多年的科研成果,提供領(lǐng)先業(yè)界的中文文本分析處理技術(shù)。源于中國傳統(tǒng)語言學(xué)(訓(xùn)詁學(xué)—義)、人工智能、認(rèn)知學(xué)、物理學(xué)、信號處理、哲學(xué)等跨學(xué)科的知識(文字學(xué)—形;音韻學(xué)—音),突破計(jì)算語言學(xué)界源于圖靈標(biāo)準(zhǔn)而采用的句法分析和語法分析標(biāo)準(zhǔn),解決中文并沒有所謂主謂賓語法的問題。
豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)
Ultra-NLP已經(jīng)在中國工商銀行、中國銀行、新華社等行業(yè)領(lǐng)先機(jī)構(gòu)得到過廣泛應(yīng)用,上線產(chǎn)品均得到業(yè)界一致好評。豐富的行業(yè)應(yīng)用經(jīng)驗(yàn)有效的保證了產(chǎn)品成熟度。
先進(jìn)的模型設(shè)計(jì)
Ultra-NLP配合基于本體模型實(shí)現(xiàn)的DINFO-OEC非結(jié)構(gòu)化數(shù)據(jù)分析挖掘平臺,對于語義分析功能可以提供更好的模型建設(shè)和算法配置能力,實(shí)現(xiàn)高效便捷的非結(jié)構(gòu)化文本語義分析。
提供分布式計(jì)算能力
Ultra-NLP引入Spark分布式計(jì)算框架,實(shí)現(xiàn)了算法的分布式計(jì)算能力,解決傳統(tǒng)算法單機(jī)運(yùn)行的瓶頸,大大提高算法的可用性和效率。
復(fù)雜模型計(jì)算能力
Ultra-NLP集成Tensorflow深度學(xué)習(xí)框架,滿足對大規(guī)模語料學(xué)習(xí)與復(fù)雜模型計(jì)算能力的需求。
場景化分析能力
Ultra-NLP自主設(shè)計(jì)組合不同處理類型算法,構(gòu)建能夠直接處理業(yè)務(wù)場景數(shù)據(jù)的NLP流程化的場景化算法,提供場景化的分析能力。
個(gè)性化算法自定制
Ultra-NLP提供靈活、易操作的Pipeline算法管道,支持用戶結(jié)合具體業(yè)務(wù)場景需求,自主定制個(gè)性化的NLP流程,實(shí)現(xiàn)個(gè)性化的場景化算法。
Ultra-NLP平臺V1.0主要功能
分詞標(biāo)注
- 提供最大切割、最短路徑和CRF新詞發(fā)現(xiàn)三種分詞算法
- 提供HMM分詞模型的訓(xùn)練和替換能力
- 提供CRF分詞模型的替換能力
- 支持用戶自定義分詞詞典
實(shí)體識別
- 提供命名實(shí)體識別能力
- 提供自定義實(shí)體識別能力
- 支持CRF實(shí)體模型替換
- 支持用戶自定義實(shí)體詞典
句法分析
- 提供短語語法分析能力
- 支持PCFG和factored兩種句法模型的訓(xùn)
依存文法
- 提供依存文法分析能力
- 提供N元文法分析能力
- 依存文法支持ME模型訓(xùn)練和替換
- 依存文法支持CRF模型替換
特征轉(zhuǎn)換
- 提供文本特征轉(zhuǎn)換為數(shù)值編碼的能力
特征選擇
- 提供卡方驗(yàn)證的特征選擇方法,支持設(shè)置TopN特征數(shù)量
- 提供TF-IDF的特征選擇方法,支持設(shè)置TopN特征數(shù)量
特征抽取
- 提供TF-IDF特征抽取方法,支持minDF最小文檔頻度設(shè)置
- 提供HashTF特征抽取方法,支持minDF最小文檔頻度設(shè)置
- 提供CountVectorizer特征抽取方法,支持minDF最小文檔頻度設(shè)置
分類
- 提供LinearSVM分類算法能力,支持分類模型的訓(xùn)練、保存和加載
- 提供樸素貝葉斯分類算法能力,支持分類模型的訓(xùn)練、保存和加載
- 提供隨機(jī)森林分類算法能力,支持分類模型的訓(xùn)練、保存和加載
- 提供邏輯回歸分類算法能力,支持分類模型的訓(xùn)練、保存和加載
場景化分類算法
設(shè)計(jì)組合場景化的分類流程,優(yōu)化流程內(nèi)部各算法參數(shù),提供效果較好的Pipeline類型的場景化分類算法(分類流程:分詞->向量轉(zhuǎn)換->特征選擇->權(quán)重計(jì)算->分類器)
- 提供LinearSVM分類Pipeline能力,開放測試準(zhǔn)確率93%,支持分類Pipeline模型的訓(xùn)練、保存和加載
- 提供樸素貝葉斯分類Pipeline能力,開放測試準(zhǔn)確率90%,支持分類Pipeline模型的訓(xùn)練、保存和加載
- 提供隨機(jī)森林分類Pipeline能力,開放測試準(zhǔn)確率87%,支持分類Pipeline模型的訓(xùn)練、保存和加載
- 提供邏輯回歸分類Pipeline能力,開放測試準(zhǔn)確率92%,支持分類Pipeline模型的訓(xùn)練、保存和加載
- 支持接收參數(shù)集合,調(diào)整Pipeline中任意步驟可調(diào)的參數(shù)
文本相似計(jì)算
- 提供余弦相似計(jì)算方法
- 提供海明距離計(jì)算方法
關(guān)聯(lián)計(jì)算
- 提供基于word2vec的關(guān)聯(lián)詞匯推薦能力
驗(yàn)證方法
- 提供數(shù)據(jù)拆分的方法
- 提供封閉驗(yàn)證的方法
- 提供交叉驗(yàn)證的方法
- 提供網(wǎng)格尋優(yōu)的方法
Pipeline基類
- 提供裝載transformer和estimator的能力,如分詞器、特征選擇、分類器等
- 支持添加、刪除、替換transformer或estimator
- 支持接收參數(shù)集調(diào)整其中任意transformer或estimator可調(diào)參數(shù)值