本發(fā)明涉及一種深度學習技術，特別是涉及一種深度學習系統及其使用方法。
背景技術：
：本發(fā)明涉及一種深度學習技術，特別是涉及一種深度學習系統及其使用方法。技術實現要素：本發(fā)明所要解決的技術問題是提供一種深度學習系統及其使用方法，其能夠將深度學習模型和決策樹模型的優(yōu)點結合起來，生成一種可解釋的模型，同時兼顧模型的可擴展性，可以方便的部署在基于cpu（中央處理器）或gpu（圖形處理器）的計算集群中。本發(fā)明是通過下述技術方案來解決上述技術問題的：一種深度學習系統，其特征在于，其包括：變量分割模塊，將一個輸入的連續(xù)型變量在某一個或多個切割點進行分割，從而將其變?yōu)殡x散型變量；決策樹生成模塊，通過步驟一，將每一個連續(xù)變量編碼為一個近似二進制向量，此二進制向量有且只有一個值為1，剩余值為0；權重學習模塊，輸入的連續(xù)型變量被轉換為一個二進制編碼的最終結點，將建立最終結點和輸出直接的關系。本發(fā)明還提供一種深度學習系統的使用方法，其特征在于，其包括以下步驟：步驟一，變量分割：將一個輸入的連續(xù)型變量在某一個或多個切割點進行分割，從而將其變?yōu)殡x散型變量；步驟二，決策樹生成：通過步驟一將每一個連續(xù)變量編碼為一個近似二進制向量，此二進制向量有且只有一個值為1，剩余值為0；步驟三，權重學習：經過步驟一、步驟二，輸入的連續(xù)型變量被轉換為一個二進制編碼的最終結點，在步驟三中將建立最終結點和輸出直接的關系。優(yōu)選地，所述步驟二中利用步驟一中的輸出生成一個決策樹的樹狀結構。優(yōu)選地，所述步驟一、步驟二充分考慮到了函數的可導性質，所以步驟三通過標準的反向傳導算法進行實現。本發(fā)明的積極進步效果在于：本發(fā)明能夠將深度學習模型和決策樹模型的優(yōu)點結合起來，生成一種可解釋的模型，同時兼顧模型的可擴展性，可以方便的部署在基于cpu或gpu的計算集群中；相對于深度學習模型，本發(fā)明所生成的模型具有非常好的可解釋性，預測結果可以回溯到單個輸入變量，并進行輸入、輸出分析。相對于傳統的決策樹模型，本發(fā)明更加便于并行優(yōu)化，且具有成熟的基于gpu的加速方法。附圖說明圖1為本發(fā)明的系統流程圖。具體實施方式下面結合附圖給出本發(fā)明較佳實施例，以詳細說明本發(fā)明的技術方案。如圖1所示，本發(fā)明深度學習系統包括以下模塊：變量分割模塊，將一個輸入的連續(xù)型變量在某一個或多個切割點進行分割，從而將其變?yōu)殡x散變量；決策樹生成模塊，將每一個連續(xù)變量編碼為一個近似二進制向量，此二進制向量有且只有一個值為1，剩余值為0；權重學習模塊，輸入變量被轉換為一個二進制編碼的最終結點，將建立最終結點和輸出直接的關系。本發(fā)明深度學習系統的使用方法包括以下步驟：步驟一，變量分割步驟，變量分割是決策樹模型的核心部分，其核心功能在于將一個輸入的連續(xù)型變量在某一個或多個切割點進行分割，從而將其變?yōu)殡x散變量。下面以一個分布于[0，1]之間的連續(xù)型變量為例，假設存在一個分割點，例如0.5。即，位于[0，0.5]之間的實例將歸入“區(qū)間1”，位于[0.5，1]之間的實例將歸入“區(qū)間2”。此操作不能直接使用神經網絡模型的結構進行實現，因為分割函數是不可導函數，在神經網絡的學習中，會造成“0梯度”現象，會造成反向傳導（一種流行的神經網絡學習方法）出錯。根據上面的例子，本發(fā)明給出一個可導的變量分割函數，如下式（1）：f(x)=softmax（x.[[1，2]]+[0，-0.5]）………………（1）其中，softmax函數的具體數學形式為，更為一般的，假設我們通過n個分割點：beta_1，beta_2，…，beta_n將一個連續(xù)型變量x分割為n+1個區(qū)間，其分割函數為，如下式（2）：f(x)=softmax（x.[[1，2，…，n+1]]+[0，-beta_1，-beta_1-beta_2，…，-beta_1，-beta_1-beta_2-…-beta_n]）……………（2）其中beta_1，beta_2，…，beta_n為模型參數，通過深度學習進行估計，其他項為常數項，在學習過程中固定。步驟二，決策樹生成，通過步驟一將每一個輸入的連續(xù)型變量編碼為一個近似二進制向量，此二進制向量有且只有一個值為1，剩余值為0。在步驟二中，利用步驟一中的輸出生成一個決策樹的樹狀結構。根據圖1，有兩個輸入變量，每個輸入變量都被其對應的1個切割點轉換成兩個區(qū)間。由此可知，最終會得到4個不同的結點，如表1所示：最終結點編號變量1落入區(qū)間變量2落入區(qū)間1區(qū)間1區(qū)間12區(qū)間1區(qū)間23區(qū)間2區(qū)間14區(qū)間2區(qū)間2表1決策樹生成的數學核心為克羅內克積，如表2所示：變量1最終輸出變量2最終輸出克羅內克積運算最終結點編碼[1，0][1，0][1，0]?[1，0][1，0，0，0][1，0][0，1][1，0]?[0，1][0，1，0，0][0，1][1，0][0，1]?[1，0][0，0，1，0][0，1][0，1][0，1]?[0，1][0，0，0，1]步驟三，權重學習，經過步驟一、步驟二，輸入變量被轉換為一個二進制編碼的最終結點，在步驟三中，將建立最終結點和輸出直接的關系。如圖1所示，以一個二類分類問題為例，步驟三的輸入為四維，輸出為二維；因此，在經典的神經網絡，即向前傳到式神經網絡中，需要學習的變量為：（a）一個維度4x2的權重矩陣；（b）二維偏差項。得益于步驟一、步驟二的設計充分考慮到了函數的可導性質，所以步驟三可以通過標準的反向傳導算法進行實現。綜上所述，本發(fā)明基于乘法門神經網絡，用特定的激活函數來模擬決策樹模型中的變量切割操作，并利用乘法門生決策樹模型中結點之間的連接結構，最終將模型納入到標準神經網絡實現的架構中。以上所述的具體實施例，對本發(fā)明的解決的技術問題、技術方案和有益效果進行了進一步詳細說明，所應理解的是，以上所述僅為本發(fā)明的具體實施例而已，并不用于限制本發(fā)明，凡在本發(fā)明的精神和原則之內，所做的任何修改、等同替換、改進等，均應包含在本發(fā)明的保護范圍之內。當前第1頁12