本消息的長度）。雖然在LRM的上下文中總 體說明了本文中所公開的示例方法，但是要理解的是，本文中所公開的示例方法可W用于 解決任何單輸出問題、多輸出問題或MOD問題。
[0027] 將參照附圖來說明示例實施例。
[002引圖1是示出示例LRM系統(tǒng)100的示意性框圖。如所示地，示例LRM系統(tǒng)100包括各 種部件，諸如公用交換電話網(wǎng)絡（PSTN) 110、用戶通信和/或計算裝置112、將PSTN100連 接至互聯(lián)網(wǎng)130的TDM網(wǎng)關120、遠程代理站121、工作站128、呼叫中屯、140、將局域網(wǎng)160 連接至互聯(lián)網(wǎng)130的互聯(lián)網(wǎng)網(wǎng)關150、網(wǎng)絡服務器170、聯(lián)系服務器200、潛在客戶數(shù)據(jù)服務 器190、本地代理工作站192W及控制工作站194。示例LRM系統(tǒng)100的各種部件可操作地 互聯(lián)，來W使聯(lián)系率或資格鑒定率最優(yōu)化的方式協(xié)同地改進響應潛在客戶的過程。
[002引如圖1中所公開的，遠程代理121包括無線電話122、有線電話124、無線計算裝置 126W及工作站128。在某些實施例中，無線電話122或有線電話124可W為互聯(lián)網(wǎng)協(xié)議語 音（V0I巧電話。在一些實施例中，計算裝置126或工作站128可W配備有軟電話。遠程代 理站121使得代理能夠W類似于被安置在工作站192處并且直接地連接至局域網(wǎng)160的代 理的方式來從遠程位置響應潛在客戶。
[0030] 在一個示例實施例中，局域網(wǎng)160駐留在呼叫中屯、140內(nèi)，呼叫中屯、140使用VoIP 和其他發(fā)送消息服務來聯(lián)系連接至PSTN110和/或互聯(lián)網(wǎng)130的用戶。呼叫中屯、140中 的各種服務器協(xié)作地起作用W;獲取潛在客戶；存儲潛在客戶信息；分析潛在客戶信息W決定如何最佳地響應每個潛在客戶；例如經(jīng)由代理終端--諸如本地代理工作站192和遠 程代理站121 -一向代理分配潛在客戶；便于經(jīng)由例如PSTN110或互聯(lián)網(wǎng)130來在代理與 潛在客戶之間進行通信；跟蹤所嘗試并且成功的代理與潛在客戶的交互；W及存儲所更新 的潛在客戶信息。網(wǎng)絡服務器170可W經(jīng)由瀏覽器可顯示網(wǎng)頁來向用戶提供一個或更多個 網(wǎng)絡表單172?？蒞經(jīng)由配備有瀏覽器的各種通信和/或計算裝置112來向用戶顯示網(wǎng)絡 表單，用戶通信和/或計算裝置包括電話、智能電話、平板計算機、膝上型計算機、桌上型計 算機、媒體播放器等。網(wǎng)絡表單172可W向用戶提示聯(lián)系數(shù)據(jù)，諸如名稱、頭銜、行業(yè)、公司 信息、地址、電話號碼、傳真號碼、電子郵件地址、即時發(fā)送消息地址、推薦信息、可用性信息 W及感興趣的信息。網(wǎng)絡服務器170可W響應于用戶提交網(wǎng)絡表單來接收與用戶相關聯(lián)的 潛在客戶信息，并且向例如聯(lián)系服務器200和潛在客戶數(shù)據(jù)服務器190提供潛在客戶信息。
[0031] 聯(lián)系服務器200和潛在客戶數(shù)據(jù)服務器190可W接收潛在客戶信息并且檢索與相 關聯(lián)的用戶相關聯(lián)的另外的數(shù)據(jù)，諸如網(wǎng)絡分析數(shù)據(jù)、反向查找數(shù)據(jù)、信用檢查數(shù)據(jù)、網(wǎng)站 數(shù)據(jù)、網(wǎng)站排名信息、不呼叫注冊數(shù)據(jù)、來自客戶關系管理（CRM)數(shù)據(jù)庫的數(shù)據(jù)W及背景檢 查信息。潛在客戶數(shù)據(jù)服務器190可W將所收集的數(shù)據(jù)存儲在潛在客戶簡檔（profile)(未 示出）中并且使用戶與LRM方案（未示出）相關聯(lián)。
[0032] 聯(lián)系服務器200可W根據(jù)相關聯(lián)的LRM方案來聯(lián)系潛在客戶并且向代理遞送潛在 客戶信息，W使得代理能夠W使聯(lián)系率或資格鑒定率最優(yōu)化的方式來響應潛在客戶。該樣 的聯(lián)系或資格鑒定的特定目的可W包括例如；建立與潛在客戶的關系；感謝潛在客戶對產(chǎn) 品的關注；回答來自潛在客戶的問題；向潛在客戶告知產(chǎn)品或服務供應；銷售產(chǎn)品或服務； 調(diào)查潛在用戶的需求和偏好；W及向潛在客戶提供支持。聯(lián)系服務器200可W使用例如下 述的各種遞送服務來向代理遞送信息；諸如電子郵件服務、即時發(fā)送消息服務、短消息服 務、高級發(fā)送消息服務、文本發(fā)送消息服務、基于電話的文本轉(zhuǎn)語音服務W及多媒體遞送服 務。代理終端121或192可W向代理呈現(xiàn)潛在客戶信息并且使得代理能夠通過與潛在客戶 通信來響應潛在客戶。
[0033] 圖2是示出圖1的示例聯(lián)系服務器200的另外的細節(jié)的示意性框圖。如圖2中 所公開地，聯(lián)系服務器200包括聯(lián)系管理器210、撥號模塊220、發(fā)送消息模塊230、PBX模 塊240化及終端硬件250。在所描繪的實施例中，聯(lián)系管理器包括IWL機器學習模塊212、 LM方案選擇模塊214、代理選擇模塊216化及潛在客戶數(shù)據(jù)服務器訪問模塊218。雖然被 示出為在聯(lián)系服務器200內(nèi)，但是例如所描繪的模塊也可W部分地或整體地駐留在其他服 務器諸如網(wǎng)絡服務器170和潛在客戶數(shù)據(jù)服務器190上。聯(lián)系服務器200使得代理能夠結(jié) 合LRM方案來與潛在客戶通信。
[0034] 聯(lián)系管理器210在需要時建立與用戶與代理的聯(lián)系并且管理聯(lián)系會話。聯(lián)系管理 器210可W經(jīng)由撥號模塊220和/或發(fā)送消息模塊230來對聯(lián)系進行初始化。
[0035] 根據(jù)本文中所公開的示例方法，IWL機器學習模塊212采用IWL機器學習模型來訓 練分類器，然后采用所訓練的分類器來預測MOD輸出決策的多個相互依賴的輸出分量。在 至少一些示例實施例中，IWL機器學習模塊212利用潛在客戶數(shù)據(jù)服務器訪問模塊208來 訪問并且分析存儲在圖1的潛在客戶數(shù)據(jù)服務器190上的潛在客戶信息。當針對特定潛在 客戶預測一個或更多個響應決策時，可W將一個或更多個響應決策傳送至LRM方案選擇模 塊 214。
[0036] LRM方案選擇模塊214呈現(xiàn)和/或選擇針對特定潛在客戶和/或供應的一個或更 多個LRM方案。類似地，代理選擇模塊216選擇在每個LRM方案中指定的代理、代理類別或 代理技能集。
[0037]潛在客戶數(shù)據(jù)服務器訪問模塊218使得聯(lián)系管理器210能夠訪問對于聯(lián)系潛在客 戶而言有用的潛在客戶信息。在一個實施例中，數(shù)據(jù)存儲訪問模塊218使得聯(lián)系管理器210 能夠訪問潛在客戶數(shù)據(jù)服務器190。
[003引撥號模塊220建立電話呼叫，包括VOIP電話呼叫和PSTN呼叫。在一個實施例中， 撥號模塊220接收唯一的呼叫標識符，建立電話呼叫并且向聯(lián)系管理器210通知該呼叫已 經(jīng)被建立。撥號模塊220的各種實施例合并了輔助功能，諸如從數(shù)據(jù)庫中檢索電話號碼、將 電話號碼與所限制的呼叫列表進行比較、轉(zhuǎn)移呼叫、進行會議呼叫、監(jiān)視呼叫、播放所記錄 的消息、檢測答錄機、記錄語音消息W及提供交互式話音響應（IVR)能力。在一些實例中， 撥號模塊220引導PBX模塊240執(zhí)行輔助功能。
[0039] 發(fā)送消息模塊230對代理和潛在客戶發(fā)送消息W及接收消息。為了發(fā)送和接收消 息，發(fā)送消息模塊230可W利用一個或更多個遞送或發(fā)送消息服務，諸如電子郵件服務、即 時發(fā)送消息服務、短消息服務、文本消息服務W及高級發(fā)送消息服務。
[0040]PBX模塊240將私人電話網(wǎng)絡連接至PSTN110。聯(lián)系管理器210或撥號模塊220 可W引導PBX模塊240將私人電話網(wǎng)絡上的線路與PSTN110或互聯(lián)網(wǎng)130上的號碼相連 接。在一些實施例中，PBX模塊240提供由撥號模塊220調(diào)用的輔助功能中的一些輔助功 能。
[00川終端硬件250將來自本地網(wǎng)絡的呼叫路由至PSTN110。在一個實施例中，終端硬 件250對接至常規(guī)的電話終端。在一些實施例和實例中，終端硬件250提供由撥號模塊220 調(diào)用的輔助功能中的一些輔助功能。
[004引已經(jīng)關于圖1和圖2描述了特定環(huán)境（LRM系統(tǒng)）和特定應用（LRM)，要理解的是， 該特定環(huán)境和應用僅為其中可W采用示例實施例的無數(shù)環(huán)境和應用中的一者。并非意在將 示例實施例的范圍限于任何特定環(huán)境或應用。
[0043] 本文中所公開的至少一些示例實施例采用IWL機器學習模型，通過將質(zhì)量值分配 給每個訓練實例來反映訓練實例中的質(zhì)量差異，W解決不同訓練實例具有不同相關性的問 題。在傳統(tǒng)的監(jiān)督式學習中，對每個訓練實例相同地加權(quán)，因此沒有考慮每個訓練實例的質(zhì) 量的影響。相反，傳統(tǒng)的監(jiān)督式學習訓練分類器W與特定的訓練實例是具有低的質(zhì)量還是 具有高的質(zhì)量無關地從訓練實例集合中的每個訓練實例同等地學習。相比之下，IWL采用 下述實例加權(quán)訓練方法；通過基于每個訓練實例的質(zhì)量值q對每個訓練實例進行加權(quán)W反 映每個訓練實例的質(zhì)量值q的影響。因此，因為IWL使得分類器能夠從高質(zhì)量的訓練實例 比從低質(zhì)量的訓練實例更多地學習，所WIWL優(yōu)于傳統(tǒng)的監(jiān)督式學習。
[0044] 在一類最常見的強化學習算法中，函數(shù)Q(s，a)用于表示當在狀態(tài)S下進行動作a 時所期望的最大獎勵?？蒞從Q(s，a)導出下述：給定狀態(tài)S，采取的最佳動作a是使Q(s， a)最大化的所有允許的動作中的一個動作。該種強化學習算法的主要訓練目標是從訓練數(shù) 據(jù)學習準確的Q(s，a)。下面的討論將主要集中在已經(jīng)成功地在許多現(xiàn)實應用中應用的基 于Q學習的強化學習算法（QLB-化）。
[0045]QLB-化使用Q學習算法通過在輸入狀態(tài)空間中的探索和開發(fā)來學習Q(s，a)。通 常需要經(jīng)歷很大量的動作W便準確地學習Q(s，a)并且找到最佳策略。對于小的狀態(tài)空間， 強化學習可W使用表來表示針對所有可能的（S，a)對的Q(s，a)。對于非常大的狀態(tài)空間 (例如，連續(xù)狀態(tài)空間），可W使用功能映射來近似Q(S，a)。
[0046]如果應用具有非常大的輸入狀態(tài)空間（例如LRM)，則化B-化可能很難用功能映 射來獲得準確的泛化。該困難的一個原因是當輸入狀態(tài)空間變得非常大時會難W準確地近 似Q(s，a)。對于QLB-化，針對僅記錄的訓練實例可W應用于訓練（諸如LRM)的應用，該 個問題變得甚至更嚴重。在該些應用中，QLB-化不能使用探索策略來探索大的輸入狀態(tài)空 間。例如，當應用強化學習來學習怎樣玩象棋時，強化學習可W探索象棋規(guī)則所允許的任 何類型的移動，然后觀察動作的獎勵。但是對于LRM，由于該樣做代價會非常高并且還非常 慢，因此嘗試現(xiàn)實設置中的各種新類型的動作（諸如，如在下面將要詳細討論的不同響應 代理頭銜、響應方法、響應消息類型W及響應定時）可能不可行。另外，新動作的影響開始 時通常是未知的，在知道新動作對序列中的隨后的狀態(tài)-動作對的影響之前可能需要花費 長的時間段。在不知道新動作的影響的情況下，不能將新動作應用為訓練數(shù)據(jù)。因此，對于 QLB-化，甚至更難W獲得針對該些類型的應用的Q(s，a)的準確近似。
[0047] 相比之下，IWL可W使用標準機器學習算法諸如用于MLP的反向傳播學習W在不 需要函數(shù)近似的情況下直接根據(jù)狀態(tài)-動作對和其q值來學習最佳策略。IWL可W使用實 例加權(quán)訓練方法，并且使得q值能夠諸如經(jīng)由用于MLP訓練的學習率直接反映在學習算法 中。因此，IWL可W提供針對該些類型應用的更高效并且更準確的學習模型。
[004引IWL訓練實例集合可W用下面的格式來表示；T= {(Xi,y。Qi), (X2, 72,屯)，...，（X D，yD，q。)};其中，XiGX是來自輸入空間X的樣本；yiEY是來自輸出空間Y的標記；W及 QiER是與訓練實例（X。Yi)(iG(1，2, . . .，n})關聯(lián)的質(zhì)量值。Qi的值可W是與（X。yi) 的質(zhì)量成比例并且在范圍[-1.0,1.0]中的實數(shù)值。例如在一些應用中，可W將值1.0分配 給質(zhì)量值〇1用于高質(zhì)量的訓練實例W及將值-1.0分配給質(zhì)量值qi用于低質(zhì)量訓練實例。 在其他應用中，質(zhì)量值(11可^在反映訓練實例的相對質(zhì)量的范圍化0,1.0]中。在另外的 其他應用中，質(zhì)量值Qi可W在范圍[-1. 0, 1. 0]之外。例如，如在本文中結(jié)合圖3所討論地， 在時間策略學習中訓練實例的質(zhì)量值(11可^從根據(jù)之前動作的所累積的折算獎勵中導出。
[0049] 在圖3至圖4和圖6至圖IOB的示例LRM實現(xiàn)方式中，采用IWL機器學習模型來訓 練示例多層感知（ML巧神經(jīng)網(wǎng)絡分類器MLP1、MLP2、ML