專利名稱：用于同時進行關(guān)于內(nèi)容有效性的因果實驗和調(diào)整內(nèi)容分配以優(yōu)化商業(yè)目標的系統(tǒng)和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及確定通信內(nèi)容的有效性和優(yōu)化內(nèi)容分配以提高商業(yè)目標，并且更具體地講涉及同時執(zhí)行這些操作。
背景技術(shù)：
零售環(huán)境中的視覺信息經(jīng)常采取廣告內(nèi)容的形式。這種內(nèi)容為固有說服性的，并且通常設(shè)計成影響觀察者的態(tài)度、感覺和行為，以便產(chǎn)生積極的商業(yè)影響，例如增加銷售， 提升品牌知名度或形成顧客忠誠度。2002年，例如，在一般稱為購買點(POP)的零售環(huán)境中使用的廣告內(nèi)容方面的全部開銷在美國估計是170億美元，在全球每年超過(430)億美元。這種開銷水平在要求對其市場營銷投資負有較大責(zé)任的品牌所有者的主管人員當(dāng)中已得到了越來越多的詳盡研究。根據(jù)業(yè)內(nèi)人士估計，因為首席營銷官的平均任期已經(jīng)下降到22. 9個月，所以對可測定性能的需求亦日益迫切。因此，市場營銷領(lǐng)導(dǎo)人極少有時間以可測定方式展示其市場努力的結(jié)果。市場營銷研究(研究行業(yè)子領(lǐng)域)已經(jīng)從歷史的角度使用相關(guān)的或匹配的對照研究成果，以針對目標評價廣告內(nèi)容的性能。然而，這些“最佳慣例”的市場營銷研究方法沒有可靠地反映市場營銷消息與商業(yè)結(jié)果之間的因果關(guān)系，市場營銷分析專家(如Don Ε.Schultz, Market Research Deserves Blame for Marketing' s Decline, Marketing News, February 15，2005 (市場研究應(yīng)歸咎于市場營銷的衰落，市場營銷新聞，2005年2月 15日))已經(jīng)對此進行了廣泛的評論。即使這樣，市場營銷研究的開銷目前估計僅僅在美國每年就是80億美元，這包括這些類型的研究。

發(fā)明內(nèi)容
本發(fā)明涉及用于評價通信內(nèi)容的有效性和優(yōu)化內(nèi)容分配以提高商業(yè)目標的系統(tǒng)、 制品、以及計算機實施方法。本發(fā)明的實施例涉及下述用于計算機實施方法的計算機實施方法，其包括使用實驗內(nèi)容進行實驗以確定通信內(nèi)容的有效性以及當(dāng)進行實驗時使用MLR 內(nèi)容執(zhí)行機器學(xué)習(xí)程序(MLR)以提高有效性尺度。另一個實施例涉及下述計算機實施方法，其包括生成多個計劃表，各個計劃表彼此不相關(guān)并且各個計劃表包括多個用于呈現(xiàn)內(nèi)容和采集表征內(nèi)容有效性的數(shù)據(jù)的時間段。 所述方法還包括使用具有多個地理學(xué)上不同的顯示器的數(shù)字標牌網(wǎng)絡(luò)和多個計劃表，其中使用多個計劃表的至少兩者同時進行至少兩個關(guān)于通信內(nèi)容有效性的因果實驗以確保通信內(nèi)容的實驗內(nèi)容不混淆、使用多個計劃表的至少兩者同時執(zhí)行至少兩個利用MLR內(nèi)容的機器學(xué)習(xí)程序(MLR)以提高預(yù)定的商業(yè)目的、或者使用多個計劃表的至少兩者進行至少一個因果實驗并同時執(zhí)行至少一個機器學(xué)習(xí)程序。另一個實施例涉及下述計算機實施方法，其包括接收觀察者在待呈現(xiàn)內(nèi)容的位置處花費的觀察者訪問持續(xù)時間(VVD)、部分地基于VVD和有效性尺度來生成包括多個用于實施機器學(xué)習(xí)程序(MLR)的時間段的計劃表。然后，根據(jù)確定MLR內(nèi)容的有效性的計劃表， 使用包括多個地理學(xué)上不同的顯示器的數(shù)字標牌網(wǎng)絡(luò)，來執(zhí)行MLR。另一個實施例涉及下述計算機實施方法，其包括對于任何指定的時間段進行評價以確定該時間段內(nèi)使用實驗內(nèi)容是否比使用MLR內(nèi)容更有價值。然后基于評價結(jié)果將內(nèi)容分配到時間段。另一個實施例涉及下述計算機實施方法，其包括接收根據(jù)包括多個時隙樣本的計劃表采集的數(shù)據(jù)、以及使用從時隙樣本內(nèi)采集的內(nèi)容來執(zhí)行機器學(xué)習(xí)程序(MLR)以提高有效性尺度。本發(fā)明的上述發(fā)明內(nèi)容并非意圖描述本發(fā)明的每一個實施例或每種實施方式。結(jié)合附圖并參照下文的具體實施方式
以及所附權(quán)利要求書，再結(jié)合對本發(fā)明比較完整的理解，本發(fā)明的優(yōu)點和成效將變得顯而易見并且為人所領(lǐng)悟。


圖1為示出根據(jù)本發(fā)明實施例的用于同時進行關(guān)于內(nèi)容有效性的因果實驗和自動調(diào)整內(nèi)容分配模式以提高有效性尺度的過程的流程圖；圖2為示出根據(jù)本發(fā)明其它實施例的用于同時進行關(guān)于內(nèi)容有效性的因果實驗和自動調(diào)整內(nèi)容分配模式以提高有效性尺度的過程的流程圖；圖3示出了根據(jù)本發(fā)明實施例的進行因果實驗和優(yōu)化有效性尺度之間的時間關(guān)系的若干非限制性實例；圖4為示出根據(jù)本發(fā)明實施例的用于同時進行關(guān)于內(nèi)容有效性的因果實驗和自動調(diào)整內(nèi)容分配模式以按照說明兩個過程的價值和緊迫性的方式來提高有效性尺度的過程的流程圖；圖5為示出根據(jù)本發(fā)明實施例的內(nèi)容分配以及揭示對用戶的潛在價值的相關(guān)性的投資回報率優(yōu)化方法的流程圖；圖6示出了根據(jù)本發(fā)明實施例的通過數(shù)字標牌網(wǎng)絡(luò)的用戶界面執(zhí)行的過程，所述數(shù)字標牌網(wǎng)絡(luò)用于從用戶接收輸入數(shù)據(jù)，所述輸入數(shù)據(jù)用于生成在數(shù)字標牌網(wǎng)絡(luò)上呈現(xiàn)內(nèi)容的優(yōu)化計劃表以最大化投資回報率；圖7為示出根據(jù)本發(fā)明其它實施例的通過數(shù)字標牌網(wǎng)絡(luò)的用戶界面執(zhí)行的過程的流程圖，所述數(shù)字標牌網(wǎng)絡(luò)用于從用戶接收輸入數(shù)據(jù)，所述輸入數(shù)據(jù)用于生成在數(shù)字標牌網(wǎng)絡(luò)上呈現(xiàn)內(nèi)容的優(yōu)化計劃表以最大化投資回報率；圖8為示出根據(jù)本發(fā)明實施例的用于將數(shù)據(jù)輸入到優(yōu)化算法中以及優(yōu)化程序如何使用這些數(shù)據(jù)來生成優(yōu)化計劃表的過程的流程圖；圖9為示出根據(jù)本發(fā)明實施例的用于通過數(shù)字標牌網(wǎng)絡(luò)同時執(zhí)行因果實驗和機器學(xué)習(xí)程序的過程的流程圖；圖10示出了根據(jù)本發(fā)明實施例的播放列表計劃表，其用于測試不同內(nèi)容在不同的顯示位置處的有效性以提高示例性調(diào)配方案的預(yù)定商業(yè)目的；圖11為示出圖10中所示方案的不同顯示位置和時間段的內(nèi)容限制的示意圖；圖12為根據(jù)本發(fā)明實施例的用于針對圖10和圖11的示例性調(diào)配方案來執(zhí)行機器學(xué)習(xí)程序并同時進行因果實驗的計劃表，所述計劃表示出了用于優(yōu)化內(nèi)容分配以最大化多個商業(yè)目的的“開放”時間段；圖13示出了針對圖10-12中所示的方案通過內(nèi)容分配優(yōu)化程序采集的歷史數(shù)據(jù)；圖14示出了圖10-12的計劃表中的各個時間段的預(yù)期投資回報率；圖15為根據(jù)本發(fā)明實施例的用于針對圖10-12的示例性調(diào)配方案來執(zhí)行機器學(xué)習(xí)程序并同時進行因果實驗的計劃表，所述計劃表示出了分配給機器學(xué)習(xí)程序的“開放”時間段；圖16示出了在圖15的開放時間段的采集持續(xù)時間期內(nèi)采集的數(shù)據(jù)；圖17示出根據(jù)本發(fā)明實施例的用于從數(shù)據(jù)流中解析出來、分析、并呈現(xiàn)給用戶的圖10-16中所示的實驗的數(shù)據(jù)；圖18示出了另一個示例性調(diào)配方案的數(shù)據(jù)，所述示例性調(diào)配方案表明本發(fā)明的優(yōu)化程序可通過優(yōu)化整個內(nèi)容、時段、和位置而產(chǎn)生投資回報率的顯著改善；圖19示出了根據(jù)本發(fā)明的另一個示例性調(diào)配方案的具有多個商業(yè)目的的一日計劃表；圖20為第二計劃表的實例，其中用戶使用所述第二計劃表來測試用于圖19的調(diào)配方案中的不同內(nèi)容的有效性；圖21-23示出了根據(jù)本發(fā)明實施例的用于進行實驗的成本評價的代表性過程；圖M示出了根據(jù)本發(fā)明實施例的用于優(yōu)化內(nèi)容展示的頻率的代表性過程；圖25A和25B示出了根據(jù)圖M實施例的在相同的時隙樣本時間段內(nèi)混合不同內(nèi)容的結(jié)果；圖2618為根據(jù)本發(fā)明實施例的涉及使用自動假設(shè)生成方法來識別和揭示有價值的相關(guān)性的流程圖；圖四示出了根據(jù)本發(fā)明實施例的方法的代表性實施例，所述方法用于進行數(shù)字標牌網(wǎng)絡(luò)的所有顯示屏的評價以及在因果實驗系統(tǒng)或機器學(xué)習(xí)系統(tǒng)的控制下來分配顯示屏?xí)r間；圖30為根據(jù)本發(fā)明實施例的可如何在各個時間段基于顯示器互聯(lián)方式來執(zhí)行圖 29中所述的過程的系統(tǒng)視圖；圖31-33為示出根據(jù)本發(fā)明實施例的過程的流程圖，所述過程用于連續(xù)評價因果實驗系統(tǒng)或機器學(xué)習(xí)系統(tǒng)的顯示時間段(如，TSS)的分配；圖34A為示出根據(jù)本發(fā)明實施例的用于分配通信內(nèi)容并且評價這種內(nèi)容的有效性的基于計算機輔助執(zhí)行的過程的示意圖；圖34B為示出根據(jù)本發(fā)明實施例的用于分配通信內(nèi)容并且評價這種內(nèi)容的有效性的基于計算機輔助執(zhí)行的過程的示意圖35示出了根據(jù)本發(fā)明實施例的涉及與符合因果實驗的約束在算法上調(diào)度并顯示通信內(nèi)容有關(guān)的網(wǎng)絡(luò)設(shè)置和數(shù)據(jù)采集的過程；圖36A示出了根據(jù)本發(fā)明實施例的與分配通信內(nèi)容和評價這種內(nèi)容的有效性有關(guān)的控制位置殘留效應(yīng)的過程；圖36B示出了根據(jù)本發(fā)明其它實施例的與分配通信內(nèi)容和評價這種內(nèi)容的有效性有關(guān)的控制位置殘留效應(yīng)的過程；圖37示出了根據(jù)本發(fā)明實施例的符合因果實驗的約束在算法上調(diào)度并顯示通信內(nèi)容的過程；圖38A示出了根據(jù)本發(fā)明實施例的涉及生成時隙樣本的多種過程；圖38B示出了根據(jù)本發(fā)明實施例的涉及向時隙樣本分配內(nèi)容的多種過程；圖38C示出了根據(jù)本發(fā)明實施例的可用于使用完整的隨機化過程將計劃表解析成時隙樣本的算法的實施例；圖38D示出了根據(jù)本發(fā)明實施例的可用于將計劃表解析成順序產(chǎn)生的時隙樣本的算法的實施例；圖38E示出了根據(jù)本發(fā)明實施例的可用于建立實驗設(shè)計播放列表的算法的過程；圖38F示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容以用于測試內(nèi)容的相對有效性的算法的過程；圖38G示出了根據(jù)本發(fā)明實施例的使用受約束的隨機化過程向時隙樣本分配內(nèi)容使得每一條實驗內(nèi)容分配到相同數(shù)目的時隙樣本的算法的過程；圖38H示出了根據(jù)本發(fā)明實施例的采取樣本大小要求作為輸入并且使用受約束的隨機化過程向時隙樣本分配內(nèi)容以確保滿足樣本大小要求的算法的過程；圖381示出了根據(jù)本發(fā)明實施例的使用完整的隨機化過程但加入優(yōu)化因子約束向時隙樣本分配內(nèi)容的算法的過程；圖38J示出了根據(jù)本發(fā)明實施例的使用完整的隨機化過程但加入塊因子約束向時隙樣本分配內(nèi)容的算法的過程；圖39A示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容的算法的過程，其中各條內(nèi)容短于時隙樣本；圖39B示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容的算法的過程，所述算法確保在關(guān)注的持續(xù)時間內(nèi)不存在位置混淆；圖40A為根據(jù)本發(fā)明實施例的數(shù)字標牌系統(tǒng)的框圖，所述數(shù)字標牌系統(tǒng)具有用于設(shè)計和調(diào)配因果實驗和機器學(xué)習(xí)程序的能力；圖40B示出了根據(jù)本發(fā)明實施例的被構(gòu)造用于設(shè)計、傳導(dǎo)、和分析用于因果實驗和機器學(xué)習(xí)程序中的數(shù)據(jù)的系統(tǒng)；和圖40C為根據(jù)本發(fā)明實施例的數(shù)字標牌網(wǎng)絡(luò)的示意圖，所述數(shù)字標牌網(wǎng)絡(luò)包括 DSS的多個部件(包括通信耦合到實驗系統(tǒng)和機器學(xué)習(xí)系統(tǒng)的DSN系統(tǒng)模塊)；這些實施例涵蓋包括圖30中所示的決策工具的實施例。雖然本發(fā)明可經(jīng)受各種修改形式和替代形式，但其具體的方式已以舉例的方式在附圖中示出并且將會作詳細描述。然而，應(yīng)當(dāng)理解，其目的不在于將本發(fā)明局限于所述具體實施例。相反，其目的在于涵蓋由所附權(quán)利要求書限定的本發(fā)明范圍內(nèi)的所有修改形式、等同形式、和替代形式。各種實施例的
具體實施例方式在以下所示實施例的描述中，參照形成實施例的一部分的附圖，并通過舉例說明的方式在該附圖中示出在其中可以實施本發(fā)明的多種實施例。應(yīng)當(dāng)理解，在不脫離本發(fā)明范圍的前提下，可以利用這些實施例，并且可以進行結(jié)構(gòu)上的修改。本發(fā)明的實施例整體涉及用于評價通信內(nèi)容的有效性以及優(yōu)化內(nèi)容分配以提高商業(yè)目標的計算機實施系統(tǒng)和方法。具體實施例涉及同時執(zhí)行通信內(nèi)容有效性評價(優(yōu)選使用因果實驗)和優(yōu)化內(nèi)容分配模式(使保持因果實驗的有效性的一個或多個有效性尺度 (購買點銷售、升級、顧客忠誠度等等)最大化)。一般來講，因果實驗為受控實驗，其中適當(dāng)?shù)钠胶狻⒎聪蚱胶?、分塊、隨機化、以及滿足必需的樣本大小要求用于確保無混淆的結(jié)果。有效性尺度是指消費者行為的測定結(jié)果。代表性的有效性尺度包括銷售、顧客忠誠度、升級、品牌認知度、以及特定商業(yè)目的的其它可測定元素。商業(yè)目的是指具體說明體驗一條內(nèi)容與對內(nèi)容作出反應(yīng)之間的關(guān)系的觀察者行為的一般種類。商業(yè)目的的代表性實例包括“酒吧銷售”、“房間升級”、以及“包裝食品銷售”。其它商業(yè)目的包括影響關(guān)于品牌和產(chǎn)品的態(tài)度和信念以及/或者影響商業(yè)機構(gòu)內(nèi)的步行模式。商業(yè)目的與至少一個有效性尺度(如，房間升級的數(shù)目)相關(guān)，但對于特定商業(yè)目的(例如，優(yōu)選的顧客升級、新的顧客升級、問候升級)可存在有效性尺度的集合。商業(yè)目標通常涉及多個商業(yè)目的并且可隨時間推移而改變。例如，本周用戶可具有最大化房間升級和酒吧銷售的目標。下周，目標可改變?yōu)樵诳刂凭瓢射N售的情況下最大化房間升級。本發(fā)明的各個實施例均涉及調(diào)度內(nèi)容分配以及確定對于計劃表的每個時間段而言，利用該時間段是進行因果實驗還是優(yōu)化內(nèi)容分配模式，所述內(nèi)容分配模式按照保持因果實驗的有效性的方式來最大化一個或多個有效性尺度。為了本發(fā)明的各個目的，計劃表可為固定計劃或者為連續(xù)地動態(tài)更新的計劃。符合本發(fā)明的實施例的調(diào)度方法通常涉及對于計劃表的各個時間段進行基于顯示器互聯(lián)的這種測定。在本發(fā)明的某些實施例中， 計劃表的時間段對應(yīng)于如本文和共同擁有的美國專利申請12/166，984[代理人檔案號 63002US003]中所述的時隙樣本。符合這些實施例的調(diào)度方法還可涉及基于每個時間段動態(tài)地調(diào)整計劃表來實現(xiàn)用戶指定的要求(如，實驗相對內(nèi)容分配優(yōu)化之間所需的平衡)。根據(jù)一些實施例，相對于基于在用于通過執(zhí)行機器學(xué)習(xí)程序提高預(yù)定商業(yè)目的的每個顯示器上使用相同時間段的損失機會，給定在用于實驗的每個顯示器使用特定時間段的成本，可實施系統(tǒng)和方法以針對給定的時間段不斷地分析顯示器應(yīng)“受控于”因果實驗系統(tǒng)還是受控于機器學(xué)習(xí)系統(tǒng)?？蓪嵤┍景l(fā)明的系統(tǒng)和方法來執(zhí)行各種類型的機器學(xué)習(xí)程序以提高或優(yōu)化一個或多個有效性尺度。一般來講，機器學(xué)習(xí)程序是指用于學(xué)習(xí)行為(例如，內(nèi)容)、狀態(tài)(例如，標牌位置、時刻等等)以及回報(例如，銷售、升級等等)之間關(guān)系的計算機實施方法。 可用的機器學(xué)習(xí)程序的代表性實例包括強化學(xué)習(xí)程序、邏輯回歸程序、無監(jiān)督學(xué)習(xí)程序、半監(jiān)督程序、或一種或多種神經(jīng)網(wǎng)絡(luò)的使用。除了別的以外，其它可用的機器學(xué)習(xí)程序包括轉(zhuǎn)導(dǎo)、遺傳算法、支持載體程序、和學(xué)會學(xué)習(xí)程序。已經(jīng)發(fā)現(xiàn)，一種特定的機器學(xué)習(xí)方法，即強化學(xué)習(xí)，在本發(fā)明的各個實施例的背景中尤其有效。強化學(xué)習(xí)允許系統(tǒng)、機器、和軟件代理自動地最大化特定問題空間的性能?？砷_發(fā)多種不同的算法來實施強化學(xué)習(xí)程序。強化學(xué)習(xí)可應(yīng)用于其中存在狀態(tài)、行為、和回報的問題。狀態(tài)是指可識別特性，其不受控于其中可存在問題(如，時刻、顯示位置、天氣等等)的算法。行為是指受控于算法的元素(如，待顯示內(nèi)容)。回報為對通過當(dāng)執(zhí)行這些行為時給定狀態(tài)的算法產(chǎn)生的行為的可測反應(yīng)(如，購買點銷售)。設(shè)計強化算法用于學(xué)習(xí)行為、狀態(tài)、和回報之間的關(guān)系。更一般地講，強化學(xué)習(xí)算法(和通常的機器學(xué)習(xí))學(xué)習(xí)當(dāng)系統(tǒng)處于特定狀態(tài)并且產(chǎn)生特定行為時將產(chǎn)生的預(yù)期結(jié)果 (回報)。在許多真實世界的條件下，回報、狀態(tài)、和行為之間的關(guān)系為概率性的并且因此對于給定特定行為和狀態(tài)的所得回報將隨試驗不同而不同。對于給定的問題，編程強化算法用于通過測試不同狀態(tài)下的不同行為并且記錄和分析所得回報來學(xué)習(xí)狀態(tài)、行為、和回報之間的關(guān)系。結(jié)果為執(zhí)行每個狀態(tài)中的每個行為的預(yù)期回報的預(yù)測。因為系統(tǒng)不斷地評價給定狀態(tài)下的行為的預(yù)期回報，因此模型可學(xué)會針對靜態(tài)問題(即，其中行為/狀態(tài)對的回報保持恒定的系統(tǒng))來最大化預(yù)期回報并且其也可適用于動態(tài)問題(即，其中特定行為/狀態(tài)對的回報隨時間推移而變化的系統(tǒng))。在某些條件下，強化學(xué)習(xí)算法將會聚到全局最優(yōu)。根據(jù)本發(fā)明中使用強化程序的實施例，可通過時刻、商店類型、以及商業(yè)的地理位置或任何其它狀態(tài)因變量來定義狀態(tài)。例如，可通過顯示時間段的時刻(如，上午 9:00-9:30)、商店類型(例如，城市)以及地理位置(如，中西部)來定義特定狀態(tài)。行為涉及分配可用于算法中的具體內(nèi)容條。回報為有效性尺度(單個或具體有效性尺度的組合) 并且可包括購買點銷售、忠誠度數(shù)據(jù)、升級等等。本發(fā)明的強化學(xué)習(xí)程序通常涉及探索程序和開發(fā)程序。應(yīng)當(dāng)注意，一些實施方式可僅使用這兩個程序中的一者或可在這兩個程序之間選擇。開發(fā)通常涉及示出機器學(xué)習(xí)算法對于給定當(dāng)前狀態(tài)將產(chǎn)生最大回報的預(yù)測的內(nèi)容。探索通常涉及示出不預(yù)期產(chǎn)生最大回報的內(nèi)容，目的在于學(xué)習(xí)、更新、和/或驗證用于當(dāng)前狀態(tài)的內(nèi)容的預(yù)期回報。強化程序的目的在于提供理解狀態(tài)、行為、和回報之間的關(guān)系。本發(fā)明的實施例涉及下述系統(tǒng)和方法，其有利于用戶輸入與用于因果實驗的一個或多個假設(shè)相關(guān)的數(shù)據(jù)以及與一個或多個商業(yè)目的相關(guān)的數(shù)據(jù)。在輸入這些以及任何其它必要數(shù)據(jù)之后，執(zhí)行本發(fā)明的過程以確保對于播放列表計劃表的每個時間段以及對于顯示器網(wǎng)絡(luò)的每個顯示器而言，系統(tǒng)將致力于最大化網(wǎng)絡(luò)的效用，以實現(xiàn)由用戶的輸入數(shù)據(jù)指明的用戶要求。除非需要參與，用戶不必進一步參與到這些過程中。用戶可(例如)詢問系統(tǒng)以確定具有高分辨率的網(wǎng)絡(luò)顯示器的狀態(tài)(例如，網(wǎng)絡(luò)顯示器的狀態(tài)可被解析到計劃表的單個時間段)，并且如果需要，可例如通過結(jié)束實驗或增加分配到探索和/或開發(fā)程序的時間段的數(shù)量，對這些過程實施更改。本發(fā)明的一些實施例涉及下述系統(tǒng)和方法，其用于在不進行通信內(nèi)容的有效性評價的情況下來實施內(nèi)容分配的優(yōu)化以最大化商業(yè)目的。其它實施例涉及優(yōu)化內(nèi)容分配以最大化商業(yè)目的以及可選地調(diào)用因果實驗(如果因子指出需要這種實驗)。本發(fā)明的各個實施例涉及用于通過數(shù)字標牌網(wǎng)絡(luò)來執(zhí)行機器學(xué)習(xí)程序的系統(tǒng)和方法。一些實施例涉及生成包括分配到時隙樣本的機器學(xué)習(xí)程序(MLR)內(nèi)容的播放列表計劃表，以及使用時隙樣本來執(zhí)行機器學(xué)習(xí)程序。具體實施例涉及使用強化學(xué)習(xí)程序以及生成包括分配到播放列表計劃表的時間部分(例如，時隙樣本)的強化學(xué)習(xí)內(nèi)容的播放列表計劃表。優(yōu)選地通過數(shù)字標牌網(wǎng)絡(luò)來執(zhí)行根據(jù)這些實施例的播放列表計劃表以優(yōu)化內(nèi)容分配模式，從而最大化一個或多個有效性尺度，例如購買點銷售、升級、以及顧客忠誠度等等?？赏ㄟ^計算機可控制的、多位置內(nèi)容顯示基礎(chǔ)設(shè)施(例如數(shù)字標牌網(wǎng)絡(luò))來實施本發(fā)明的這些和其它實施例。應(yīng)當(dāng)理解，本發(fā)明的實施例不限于視覺介質(zhì)，還可涉及聽覺介質(zhì)、觸覺介質(zhì)、或者其它單獨的或與視覺介質(zhì)結(jié)合的感官介質(zhì)?，F(xiàn)在轉(zhuǎn)向圖1，其示出了根據(jù)本發(fā)明實施例的用于同時進行關(guān)于內(nèi)容有效性的因果實驗和自動調(diào)整內(nèi)容分配模式以提高有效性尺度的過程的流程圖。根據(jù)圖1的實施例涉及進行關(guān)于通信內(nèi)容有效性的因果實驗以確保通信內(nèi)容的實驗內(nèi)容不混淆(10)。根據(jù)圖 1的實施例還涉及當(dāng)進行實驗時來執(zhí)行分配內(nèi)容的機器學(xué)習(xí)程序以最大化預(yù)定組的回報 (即，有效性尺度)(12)。圖2示出了根據(jù)本發(fā)明其它實施例的用于同時進行關(guān)于內(nèi)容有效性的因果實驗和自動調(diào)整內(nèi)容分配模式以提高商業(yè)目的的過程的流程圖。根據(jù)圖2的實施例涉及提供包括時間段的計劃表、以及使用分配給實驗的時間段來進行關(guān)于通信內(nèi)容有效性的因果實驗 (20)。根據(jù)圖2的過程還涉及使用計劃表中未分配給實驗的時間段來同時實施利用MLR內(nèi)容的機器學(xué)習(xí)程序以提高或優(yōu)化預(yù)定的有效性尺度。MLR內(nèi)容是指可用于通過MLR算法考慮的內(nèi)容集合。其可包括專門設(shè)計用于MLR的內(nèi)容、實驗內(nèi)容、或任何其它內(nèi)容。圖3示出了根據(jù)本發(fā)明實施例的進行因果實驗和優(yōu)化商業(yè)內(nèi)容之間的時間關(guān)系的若干非限制性實例。根據(jù)圖3的實施例涉及提供包括可分配通信內(nèi)容的時間段的計劃表 (30)。根據(jù)圖3的過程還涉及當(dāng)使用MLR內(nèi)容實施機器學(xué)習(xí)程序以提高/優(yōu)化一個或多個預(yù)定有效性尺度時進行關(guān)于實驗內(nèi)容有效性的因果實驗(32)。實施因果實驗和優(yōu)化內(nèi)容分配之間的時間重疊可呈現(xiàn)若干形式。例如，且同樣如圖3所示，可使用計劃表中未用于進行一個或多個實驗的時間段中的至少一些來執(zhí)行一個或多個機器學(xué)習(xí)程序(34)。根據(jù)另一個方法，可使用計劃表的第一組時間段進行實驗，同時可使用計劃表中與第一組時間段交叉的第二組時間段來執(zhí)行機器學(xué)習(xí)程序(36)。應(yīng)當(dāng)理解，可分配不止兩組時間段來同時進行一個或多個實驗和一個或多個機器學(xué)習(xí)程序。根據(jù)另一個方法，對于不相關(guān)的實驗內(nèi)容和MLR內(nèi)容，可使用同一時段或周期來實施實驗和機器學(xué)習(xí)程序中的每一個的至少一部分。圖3中所示的方法以及其它可供選擇的方法可單獨地或以各種組合來實施。另外，多個計劃表可被提供并用于以下述方式來實施圖3中(以及其它圖中)所示的方法，所述方式在使用機器學(xué)習(xí)程序以最大化有效性尺度時同時確保因果實驗的完整性。迄今為止，本領(lǐng)域已知的傳統(tǒng)方法仍不能在執(zhí)行如圖1和2所示的機器學(xué)習(xí)程序時同時進行無混淆的因果實驗。在數(shù)字標牌網(wǎng)絡(luò)(DSN)的背景下進行因果實驗(例如)通常涉及實施謹慎設(shè)計、控制、和進行的性能評價(實驗)，所述性能評價測定經(jīng)數(shù)字遞送的消息對于特定因變量(即，顧客行為)的影響。這些結(jié)果對用于受用戶關(guān)注的特定因變量 (如，諸如升級、產(chǎn)品銷售等等之類的尺度)的特定受關(guān)注自變量(如，消息類型、消息形式)產(chǎn)生洞察力。這些洞察力通過在為用戶提供無混淆結(jié)果的用戶網(wǎng)絡(luò)上謹慎地調(diào)度內(nèi)容而產(chǎn)生。常規(guī)方法仍不能有利于因果實驗而同時有利于執(zhí)行優(yōu)化程序以自動地最大化預(yù)先指定的有效性尺度。
在一些實施例中，使用實驗(例如本文所述的因果實驗)來實施本發(fā)明的方法。在其它實施例中，使用其它類型的實驗(例如準實驗或相關(guān)設(shè)計)來實施本發(fā)明的方法。此前，當(dāng)使用現(xiàn)有技術(shù)方法時用戶不得不在這些替代實驗之間選擇，因為因果實驗要求非常精確地分配內(nèi)容，使得在實驗內(nèi)最小化或消除混淆。相比之下，優(yōu)化程序不斷地調(diào)整內(nèi)容分配以最大化功能(例如，總收入)，并且這樣做無需任何機制來確?；煜床迦氲絻?nèi)容分配計劃表中。由此，常規(guī)實施方式要求最終用戶在下述之間進行選擇，即使用分配用于因果結(jié)果的內(nèi)容的系統(tǒng)或者自動最大化特定有效性尺度的系統(tǒng)。本發(fā)明的實施例涉及下述系統(tǒng)和方法，所述系統(tǒng)和方法同時在整個顯示器網(wǎng)絡(luò)上，在有利于使用最大化有效性尺度的優(yōu)化程序時來提供因果實驗的完整性。諸如圖4中所示的實施例涉及同時執(zhí)行關(guān)于內(nèi)容有效性的因果實驗，以及自動化內(nèi)容分配模式來最大化消費者尺度(40)。本發(fā)明的實施例還可涉及利用考慮這些成分中的兩者的價值和緊迫性的因果內(nèi)容的分配來平衡投資回報率(ROI)最大化的分配0 。這些成分的平衡考慮到用于一定時間段內(nèi)分配因果實驗內(nèi)容而非MLR內(nèi)容的預(yù)定機會成本，所述MLR內(nèi)容將最大化特定有效性尺度。系統(tǒng)將選擇將保持實驗(如，推論統(tǒng)計所需的合適的反向平衡和統(tǒng)計假設(shè))完整性的時間段，所述實驗最小化與本實驗有關(guān)的機會成本。機會成本降低可呈現(xiàn)多種形式，包括(但不限于)根據(jù)實驗者有興趣回答的問題的價值/優(yōu)先權(quán)來設(shè)計處于不同條件下的具有不等樣本數(shù)的實驗、使用特定樣本的成本、 以及提供持續(xù)的成本分析以相對利益確定預(yù)期成本，從而在給定當(dāng)前結(jié)果(即，不同條件的方法和差異)下發(fā)現(xiàn)可靠效應(yīng)以及根據(jù)統(tǒng)計特性(例如功效和效應(yīng)大小)指定停止規(guī)則。本發(fā)明的實施例包括優(yōu)化因果實驗和MLR程序的樣本分配，以最小化與因果實驗相關(guān)的成本并且最大化來自MLR程序的預(yù)期回報。因為MLR程序一直學(xué)習(xí)狀態(tài)、行為和回報之間的關(guān)系，因此最終將存在非常豐富的歷史數(shù)據(jù)庫。除了使用該數(shù)據(jù)庫來預(yù)測在特定數(shù)字顯示器上分配給特定時間段的最佳行為(即，內(nèi)容)之外，該歷史數(shù)據(jù)庫可用于對于用戶可感興趣了解和/或測試的數(shù)據(jù)中的特定關(guān)系給用戶提供提示。因為這些關(guān)系并非使用實驗設(shè)計而產(chǎn)生，在大多數(shù)條件下它們將為自變量和因變量之間的簡單相關(guān)性。這些相關(guān)性結(jié)果不為用戶提供因果結(jié)果，而是僅提供自變量和因變量之間的關(guān)系。因為系統(tǒng)一直學(xué)習(xí)狀態(tài)和內(nèi)容之間的關(guān)系，因此將存在可用的一巨大組的關(guān)系。 用于通過這些可能關(guān)系進行快速過濾的一種方法為向用戶詢問他們認為有興趣和/或有價值的關(guān)系。通過向用戶詢問有價值的關(guān)系，系統(tǒng)可不斷地分析有價值關(guān)系的歷史數(shù)據(jù)。 可為用戶提示數(shù)據(jù)中的特定關(guān)系并且使其進行選擇以運行因果實驗(測試自變量對因變量的因果影響)，并且/或者用戶可指示系統(tǒng)應(yīng)自動地設(shè)計和運行有價值且滿足特定標準 (如，預(yù)測成本)的實驗。本領(lǐng)域的技術(shù)人員將易于理解，本發(fā)明的上下文中的術(shù)語“最優(yōu)化”(optimize)、 “優(yōu)化”(optimization)、“最大化”(maximize)、以及類似的最高級用語并非絕對術(shù)語。相反，這種術(shù)語描述基于問題的當(dāng)前約束條件來最小化或最大化數(shù)值的過程。例如，當(dāng)優(yōu)化內(nèi)容分配模式時，系統(tǒng)不斷地監(jiān)測其可用的行為特性(即，可分配到計劃表的內(nèi)容)并且分配將最大化特定值的內(nèi)容(給定其當(dāng)前知識)。但由于優(yōu)化、或最大化程序工作于高度動態(tài)的問題空間中并且特定的潛在函數(shù)為未知的，因此系統(tǒng)相對于將實際最小化或最大化目標函數(shù)的行為而一直處于不確定狀態(tài)中。這些術(shù)語普遍用于有關(guān)機器學(xué)習(xí)的技術(shù)文獻中。因此，在本要求保護的主題的上下文中，諸如優(yōu)化或最大化之類的術(shù)語與表征提高、改進、改善、增加、提升等等之類的術(shù)語同義。圖5為可通過數(shù)據(jù)處理系統(tǒng)實施的內(nèi)容分配方法的流程圖，所述數(shù)據(jù)處理系統(tǒng)用于不斷地調(diào)整經(jīng)數(shù)字分配介質(zhì)(例如數(shù)字標牌網(wǎng)絡(luò)的數(shù)字標牌)的內(nèi)容分配模式。根據(jù)圖 5的實施例涉及進行實驗以產(chǎn)生有關(guān)通過用戶輸入到系統(tǒng)中的假設(shè)(如，內(nèi)容中有人物圖像會影響銷售嗎？)的因果數(shù)據(jù)(50)。根據(jù)圖5的實施例還涉及使用優(yōu)化程序(52)，同時進行實驗(50)，以最大化在整個多元互補和競爭類型和產(chǎn)品上的總收入?；パa產(chǎn)品的實例為洗發(fā)水和護發(fā)素。即，如果顧客趨于購買洗發(fā)水，則他們也更有可能購買護發(fā)素。競爭產(chǎn)品的實例為相對庫存方便食品的預(yù)包裝食品。如果顧客趨于購買庫存方便食品，則他們將不太可能購買預(yù)包裝食品。通過使用多個有效性尺度(如，洗發(fā)水銷售、護發(fā)素銷售、方便食品銷售、和包裝食品銷售)并且指明這些有效性尺度的相對值， MLR學(xué)會最大化考慮這些競爭的和互補的顧客行為的目標函數(shù)。使用優(yōu)化程序來增加或最大化整個多元有效性尺度上的目標函數(shù)(5 通常涉及優(yōu)化數(shù)字顯示網(wǎng)絡(luò)中的每個顯示器專用于不同內(nèi)容消息的時間量(M)，和顯示預(yù)測最大化用于特定屏幕、位置、和時間的有效性尺度(或目標函數(shù))的內(nèi)容版本(55)。目標函數(shù)是指用于不同顧客尺度中的每一個的一組相對值。其被MLR用于預(yù)測哪一條內(nèi)容將對特定狀態(tài)(顯示位置、時刻等等)最有效。其也被因果實驗分配系統(tǒng)用于確定與實驗有關(guān)的機會成本以優(yōu)化實驗設(shè)計和選擇一組將最小化實驗總成本的樣本(時間段)。根據(jù)圖5的實施例還涉及分析從優(yōu)化程序采集的歷史數(shù)據(jù)(56)以及提醒用戶用戶可能認為有價值的相關(guān)性(58)。這種相關(guān)性的實例示出具有人物的內(nèi)容與上午的銷售增加相關(guān)，但是示出不具有人物的內(nèi)容與傍晚的銷售增加相關(guān)。圖6示出了通過數(shù)字標牌網(wǎng)絡(luò)的用戶界面實施的過程，所述數(shù)字標牌網(wǎng)絡(luò)用于從用戶接收輸入數(shù)據(jù)，所述輸入數(shù)據(jù)隨后可提供至DSN系統(tǒng)處理器。將此輸入數(shù)據(jù)提供至下述算法，其產(chǎn)生用于在數(shù)字標牌網(wǎng)絡(luò)上分配內(nèi)容的計劃表，所述計劃表被預(yù)測來最大化有效性尺度(或目標函數(shù))。根據(jù)圖6所示的實施例，將各個有效性尺度的值(如，相對顧客/ 購物者經(jīng)驗的收入)輸入/提供至優(yōu)化算法處理器來提供目標函數(shù)(60)。將一個或多個內(nèi)容分配約束條件(如，在時間Z時于顯示器Y上不顯示內(nèi)容X)輸入/提供至處理器(62)。 各種商業(yè)目標均可具有一個或多個有效性尺度。將各種商業(yè)目標內(nèi)的各個有效性尺度的值 (如，由出售不同產(chǎn)品產(chǎn)生的利潤、不同實驗假設(shè)的值)輸入/提供至處理器(64)。內(nèi)容分配和數(shù)據(jù)處理模塊或處理器被構(gòu)造用于在整個網(wǎng)絡(luò)上分配內(nèi)容(6 并且以數(shù)據(jù)流形式(如，銷售點數(shù)據(jù))處理有效性尺度(67)。內(nèi)容分配和數(shù)據(jù)處理模塊被構(gòu)造用于不斷地調(diào)整內(nèi)容分配模式以便學(xué)習(xí)內(nèi)容(如，行為)與狀態(tài)(如，顯示性能)之間的關(guān)系并且最大化由不同有效性尺度的相對值指定的目標函數(shù)(69)。下述方案代表根據(jù)本發(fā)明實施例的多種可行實施方式中的一種。下述代表性過程是通過本發(fā)明的系統(tǒng)實施的，所述系統(tǒng)能夠測定關(guān)于有效性尺度的內(nèi)容的效應(yīng)。所述系統(tǒng)優(yōu)選被構(gòu)造用于產(chǎn)生下述必要條件，所述必要條件用于分配內(nèi)容以優(yōu)選按照下文所述方式進行可控的因果實驗。通過用戶將實驗的下述成分輸入到系統(tǒng)中，如圖7所示實例#1
1.何為所關(guān)注的因變量測定值以及何為其特性？輸入/提供這些因變量測定值 (70)。a.如，總銷售、房間升級、酒吧銷售等等2.何環(huán)境因子受關(guān)注？輸入/提供這些因子(72)。a.如，酒店規(guī)模、酒店位置等等3.何內(nèi)容因子受關(guān)注？輸入/提供這些因子(74)。a.如，背景顏色不同的內(nèi)容。b.策略消息不同的內(nèi)容(如，放任對比效率)。4.何為用于所關(guān)注的因變量測定的觀察者訪問持續(xù)時間(VVD) ？輸入/提供 VVD (75)。a. VVD定義觀察者可體驗數(shù)字內(nèi)容的最長(或典型)時間段以及它們可對內(nèi)容作出反應(yīng)的時間。b. VVD用于定義指定用于運行特定學(xué)習(xí)情況的獨立時間段的時隙樣本(TSS)。5.實驗緊迫性/價值a.指定需要完成實驗的時間(77)。b.指定實驗假設(shè)的價值(79)(如，用戶將對于知道假設(shè)是否真實而支付多少錢)。系統(tǒng)按照下文所述的方式使用這些因變量和自變量(即，環(huán)境和內(nèi)容因子)來設(shè)計特定實驗。系統(tǒng)算法接收上文所定義的數(shù)據(jù)并且將內(nèi)容分配到不同的TSS，使得某些因子為精確受控的并且其他因子為隨機的(如，顯示哪個內(nèi)容版本在整個占有水平上為隨機的)。對于許多實驗，所述實驗僅需要某些數(shù)量的顯示時間，從而使得某些時間段(如， TSS) “開放”。為清晰起見，如前述句子中所用的術(shù)語“開放”是指有待用于某個目的而非用于實驗(如，機器學(xué)習(xí)程序)的給定時間段(如，TSS)的現(xiàn)存可用性。然而，對于給定的時間段，特定的“商業(yè)目的”可“開放”。在這種情況下，例如，如果時間段(如，TSS)正用于評價某特定商業(yè)目的(例如升級)，則另一個商業(yè)目的(例如酒吧銷售)為“開放”。一旦已定義實驗，就優(yōu)選使用下述代表性過程填充“開放”時間段(即，未專用于實驗的那些)，具體方式為使用機器學(xué)習(xí)算法來生成增加用戶目標函數(shù)(即，設(shè)置在不同顧客尺度上的值)的內(nèi)容分配模式。下文描述圖8所示的代表性方法步驟，其用于將數(shù)據(jù)輸入到機器學(xué)習(xí)程序以及程序如何使用此信息來生成計劃表。然后顯示涉及這些代表性過程的示例性調(diào)配方案。實例#21.將每種特性的有效性尺度輸入/提供到系統(tǒng)中(80)。a.如，酒吧銷售、房間升級、飯店銷售等等。2.輸入/提供每個有效性尺度的值(82)。a.不同有效性尺度可具有不同利潤率(如，酒吧銷售對比飯店銷售)或它們可具有不同尺度(如，房間升級數(shù)量對比酒吧銷售)。為每個商業(yè)目的定義數(shù)值允許算法基于這些值來計算不同條內(nèi)容的單個目標函數(shù)。3.選擇顯示在網(wǎng)絡(luò)上的內(nèi)容(83)。a.用戶從其內(nèi)容數(shù)據(jù)庫選擇他們期望用于機器學(xué)習(xí)算法的內(nèi)容。此內(nèi)容可來自先前實驗的內(nèi)容數(shù)據(jù)庫和/或可明確地進行制備以用于機器學(xué)習(xí)程序(如，涉及探索和開發(fā)過程的強化學(xué)習(xí)程序，如下文所述)。4.在顯示特定的內(nèi)容條方面指定任何位置/時間約束(84)。a.機器學(xué)習(xí)程序(如，涉及探索和開發(fā)過程的強化學(xué)習(xí)程序)提供不同位置不同時間的內(nèi)容以便學(xué)習(xí)哪些內(nèi)容條是最有效的。然而，內(nèi)容可不適用于某些位置或某些時間段。5.對于每條內(nèi)容，指定VVD (85)。a.體驗(如，觀看)內(nèi)容與按照內(nèi)容行動之間的可測定的預(yù)期(或最長)持續(xù)時間。6.系統(tǒng)調(diào)度(86)并且不斷地調(diào)整(88)具有時間和位置的計劃表，其中每條數(shù)字標牌內(nèi)容顯示在數(shù)字標牌網(wǎng)絡(luò)中的每個顯示器上，所述數(shù)字標牌網(wǎng)絡(luò)具有下述約束并且如圖9所示a.識別完成學(xué)習(xí)所需的時間段或部分(90)。i.將實驗內(nèi)容分配到時間段以使得1.所要求實驗將在“緊迫性”日期(上述步驟5.a所定義的)結(jié)束之前完成。2.就與運行實驗(相對于使用MLR)相關(guān)的機會成本而論，實驗成本為最小化的。b.識別未專用于實驗的時間段(91)。i.這些時間段為其中不存在實驗內(nèi)容的顯示時間段。c.針對時間段(位置、時間、以及標牌/顯示器)，識別可在特定時間顯示在標牌上的內(nèi)容(定義于步驟3和步驟4中)(92)。i.不考慮不適合于此時間的(如，上午4-10點廣告娛樂時間)或特定標牌上的 (如，不在登記臺后面的標牌上的房間升級內(nèi)容)或特定場所的(如，在不具有餐廳的酒店中廣告餐廳)的相關(guān)內(nèi)容。d.確定系統(tǒng)在各個時間段內(nèi)是在“探索”還是在“開發(fā)”(93)。對此進行確定的多個方法包括(但不限于)下述方法 .隨機法預(yù)先確定開發(fā)時間段(如，90%)相對探索時間段(如，10%)的數(shù)量。 利用這些概率，隨機地選擇分配探索內(nèi)容還是開發(fā)內(nèi)容。ii.半智能法根據(jù)歷史差異，修改探索或開發(fā)的概率。當(dāng)測定值的差異減小時， 增加開發(fā)的可能性。iii.成本分析法估計探索相對開發(fā)的機會成本，并目.當(dāng)機會成本高時開發(fā)更常見。e.如果處于“開發(fā)”模式(94)i.在給定標牌和時間段的性能的情況下，使用歷史數(shù)據(jù)來識別最大化加權(quán)商業(yè)目的的內(nèi)容。1.如果不存在先驗知識，將內(nèi)容隨機地分配到計劃表。2.對歷史數(shù)據(jù)使用回歸分析(或其它通用預(yù)測函數(shù))以預(yù)測最大化性能(加權(quán)商業(yè)目的)的最佳內(nèi)容“混合”。a.回歸分析將使用具有各條內(nèi)容(以及內(nèi)容的組合)的顯示、位置和時間變量的歷史數(shù)據(jù)來預(yù)測最佳內(nèi)容混合。f.如果處于“探索”模式(95)
i.識別待顯示的探索內(nèi)容1.隨機法從待顯示的授權(quán)內(nèi)容中隨機地詵擇一條內(nèi)容。2.時基法基于內(nèi)容被探索的最后時間來詵擇多條內(nèi)容。3.半智能法針對當(dāng)前顯示的特件(時間、位置等等)來識別系統(tǒng)的歷史數(shù)據(jù)庫中的“知識溝”并且顯示將填充該知識溝的內(nèi)容。7.內(nèi)容分配和數(shù)據(jù)處理模塊在整個網(wǎng)絡(luò)上分配內(nèi)容(96)。8.采集和處理數(shù)據(jù)(97)a.生成用于研究的報告。b.將新數(shù)據(jù)集成到歷史數(shù)據(jù)庫。9.重復(fù)步驟6-8直至用戶終止探索/開發(fā)過程(98)。a.如果步驟1-5提供的任何信息改變，則其可修改步驟6中的內(nèi)容分配模式。下述調(diào)配方案示出了可如何根據(jù)本發(fā)明實施例實施上述過程。實例#33a.實驗內(nèi)容分配Manticore為擁有五個具有數(shù)字標牌網(wǎng)絡(luò)的酒店的連鎖酒店。Manticore已將其五個酒店通過位置類型(城市對比郊區(qū))以及其就房間數(shù)目而言的規(guī)模(小、中、大)進行分類。Manticore期望了解在廣告中增加人物模型是否增加顧客將選擇升級其房間的可能性(上文實例#2中的步驟1)。因為在其廣告中使用模型使Manticore花費特許權(quán)使用費，因此他們有興趣確定使用模型相比不使用模型的有益效果。他們有理由相信增加模型對于其城市酒店對比其郊區(qū)酒店的效應(yīng)可為不同的(上文實例#2中的步驟2)。Manticore設(shè)計了除一者之外在各方面均相同的兩條內(nèi)容一條內(nèi)容具有模型 (房間升級有模型)而另一條不具有模型(房間升級無模型)(上文實例#2的步驟3)。 Manticore還知道全部顧客中的99. 9%在進入其酒店的1小時之內(nèi)登記并做出其升級決定 (VVD = 1小時，TSS = 2小時；上文實例#2中的步驟4)。使用下述用于設(shè)計因果實驗的程序，系統(tǒng)生成計劃表并且將實驗內(nèi)容分配到計劃表。圖10示出了本研究中用于五個Manticore酒店地產(chǎn)的內(nèi)容分配。此外，Manticore期望在第二天結(jié)束前知道答案(上文實例#2中的步驟5)。應(yīng)當(dāng)注意，通過延伸緊迫性日期， 可評價/證明系統(tǒng)將如何調(diào)節(jié)MLR相對因果實驗的顯示時間分配。使用此數(shù)據(jù)，算法將內(nèi)容調(diào)度至五個Manticore地產(chǎn)，如圖10所示。圖10示出了用于測試在城市對比郊區(qū)中房間升級無模型相對房間升級有模型的效應(yīng)的播放列表計劃表。具體地講，生成如圖10所示的播放列表計劃表以用于實施由 Manticore酒店設(shè)計的因果實驗從而來測試在城市對比郊區(qū)的酒店中兩條內(nèi)容(房間升級無模型相對房間升級有模型)的性能。在此設(shè)計中，因變量測定值為房間升級的數(shù)目，并且酒店規(guī)模不是所關(guān)注的變量。因此，算法相對此變量來隨機化內(nèi)容分配。斑點和斜線方格指示專用于實驗的時間段(如，時隙樣本時間段)。用于房間升級(即，因變量測定值)的時間段(如，TSS)估計為2小時。如圖10中可見，存在多個“開放”時間段，其未專用于此調(diào)配方案中的實驗。這些開放時間段(可為TSQ顯示為篩網(wǎng)方格。在這種情況下，緊迫性將在一天內(nèi)完成研究(參見上文實例#2中的步驟5a)。
3b.證明將優(yōu)化內(nèi)容分配到開放時隙Manticore也有興趣使用“開放”時間段(在圖10中示為篩網(wǎng)方格)來增加其R0I。1. Manticore有興趣最大化兩個商業(yè)目的房間升級和酒吧銷售。2. Manticore已確定每個升級價值$100，而酒吧中的利潤率為40%。3. Manticore在其數(shù)字內(nèi)容庫中具有四條內(nèi)容i.房間升級無模型ii.房間升級有模型iii.酒吧放任iv.酒吧效率4. Manticore限制在清晨時間段(4:00-8:00)播放酒吧內(nèi)容。此外，其機構(gòu)中的一個(酒店不具有酒吧，因此他們不希望在該設(shè)施處播放酒吧內(nèi)容。圖11示出了這些限制。圖11為示出用于不同位置和時間段的內(nèi)容限制的示意圖。斑點方格為不可播放內(nèi)容的時間段和位置。白色方格指示在這些位置處可在這些特定時間播放內(nèi)容。5.在此方案中，先前的顧客研究已發(fā)現(xiàn)，全部顧客中的99 %將進入酒店并在一小時內(nèi)升級房間(對于使用TSS的實施例，VDD = 1小時并且TSS = 2小時)。相比之下，進入酒店和準備去酒吧之間的典型時間為12小時(對于使用TSS的實施例，VDD = 12小時并且TSS = M小時)。6.采用此信息，算法現(xiàn)在為Manticore調(diào)度四條內(nèi)容。這些實驗時間段和受限時間段示于圖3中，該圖為探索/開發(fā)優(yōu)化計劃表的實例。斑點區(qū)域指示專用于實驗的時間。 篩網(wǎng)方格指示內(nèi)容限制。第一開放時間段(白色方格)是從上午4:00-上午6:00。a.假定已建立實驗時間段(如，TSS)。b.圖12為針對多個商業(yè)目的(兩小時的房間升級)分成最小時間段(如，TSS單元)的開放時間段(白色區(qū)域)的示意圖。c.對于這些時間段，將僅考慮房間升級無模型和房間升級有模型。d.探索/開發(fā)系統(tǒng)在探索與開發(fā)模式之間隨機選擇，其中使用開發(fā)模式90%的時間并且使用探索模式10%的時間。應(yīng)當(dāng)理解，這些百分比可變化。使用隨機數(shù)值生成器，系統(tǒng)確定此第一開放時間段將為“開發(fā)”時間段。e.系統(tǒng)著眼于歷史數(shù)據(jù)以確定哪條內(nèi)容對于此設(shè)施在此時間將為最佳的。對于酒店_U_S，酒吧內(nèi)容為受限的，因為此酒店中不存在酒吧。使用酒吧的加權(quán)分數(shù)(參見圖14) 和此開發(fā)時間段內(nèi)的升級，由此得出結(jié)論，提供的最佳內(nèi)容條為房間升級無模型(圖14中 1800美元對比800美元)。圖13示出了針對兩條升級內(nèi)容和兩條酒吧內(nèi)容的用于給定TSSQ小時)的升級數(shù)量的歷史數(shù)據(jù)。圖14示出了每個時間段的預(yù)期R0I。圖13中所示的數(shù)值為升級的 ROI (100美元/升級)和酒吧銷售的ROI (40%利潤率)的加權(quán)值。商業(yè)目的值在上文實例 #3 (3b)的步驟2中得到指定。圖14中的實際值來自歷史數(shù)據(jù)(圖13)和這些商業(yè)目的值。 4:00下的粗體輪廓區(qū)域為當(dāng)前所考慮的時間段。由于在酒店中不存在酒吧，則用于酒吧放任與酒吧效率的性能的數(shù)據(jù)實際上是相同的。7.使用歷史數(shù)據(jù)和商業(yè)目的加權(quán)，探索/開發(fā)算法將內(nèi)容分配到所有開放時間段
17并且將內(nèi)容分配到網(wǎng)絡(luò)的顯示器。結(jié)果示于圖15中。在圖15中，具有間斷斜線圖案的方格指示已分別專用于房間升級和酒吧內(nèi)容的時間。斑點方格代表“探索”時間段，其中算法在該時間段內(nèi)隨機選擇待提供的較低執(zhí)行內(nèi)容條中的一個。8.然后從顧客處采集數(shù)據(jù)。在這種情況下，將升級數(shù)和酒吧銷售數(shù)下載到系統(tǒng)數(shù)據(jù)庫。然后解析數(shù)據(jù)以將每條數(shù)據(jù)分配到適當(dāng)?shù)臅r間段以及與該時間段相關(guān)的內(nèi)容，如圖 16所示。如圖16可見，在顯示內(nèi)容的時間段內(nèi)采集數(shù)據(jù)。圖案化和白色方格中的數(shù)字指示該TSS期間的升級數(shù)。用于與酒吧銷售相關(guān)的TSS的酒吧性能列于最右側(cè)。酒店_u_s不具有酒吧，因此其不具有任何酒吧銷售。a.將用于實驗的數(shù)據(jù)從數(shù)據(jù)流中解析出、進行分析，并且提供給顧客，如圖17所示。這是通過識別與實驗相關(guān)的時間段(如，時隙樣本)、隨后通過與這些時間段相關(guān)的內(nèi)容進行分析(例如按照下文所述的方式)來完成的。圖17示出了研究的實驗結(jié)果?？梢钥闯龇块g升級有模型內(nèi)容比房間升級無模型內(nèi)容明顯更有效。在內(nèi)容類型與酒店為城市還是郊區(qū)設(shè)施之間不存在相互影響。b.利用新數(shù)據(jù)更新存儲在歷史數(shù)據(jù)庫中的歷史數(shù)據(jù)。歷史數(shù)據(jù)將指明不同內(nèi)容條 (以及內(nèi)容的組合)隨不同環(huán)境變量(時間、位置等等)變化而對商業(yè)目的結(jié)果(如，升級數(shù)、酒吧銷售數(shù))的影響。實例#4下述示例性調(diào)配方案舉例說明實施本發(fā)明的ROI最大化方法的價值。圖18中所示的數(shù)據(jù)表明本發(fā)明的優(yōu)化程序可通過優(yōu)化整個內(nèi)容、時段、和位置而在ROI中產(chǎn)生顯著改善。在此代表性實例中，存在四種商店類型(城市、郊區(qū)、遠郊和農(nóng)村)。系統(tǒng)使用三條內(nèi)容(A、B、和C)來最大化上午、下午、和傍晚時間段的R0I。在這種情況下，僅提供最佳的整體內(nèi)容與僅隨機地(即，等幾率)提供每條內(nèi)容相比產(chǎn)生2. 53%的ROI增長。為特定時段選擇最佳內(nèi)容與將內(nèi)容等幾率地分配到整個網(wǎng)絡(luò)相比產(chǎn)生5. 11%的增長。為特定位置選擇最佳內(nèi)容與隨機分配內(nèi)容相比產(chǎn)生3. 53%的ROI 增長。然而，為所有這些環(huán)境變量(時段、內(nèi)容、位置)選擇最佳內(nèi)容與隨機分布方法相比產(chǎn)生12. 94%的增長。實例#5下述代表性調(diào)配方案闡明當(dāng)產(chǎn)生負責(zé)多個VVD和多個商業(yè)目的的播放列表計劃表時所涉及的額外復(fù)雜度，其中機器學(xué)習(xí)程序與因果實驗同時運行。此實例闡明用戶可如何使用機器學(xué)習(xí)程序(例如使用探索和/或開發(fā)算法的強化學(xué)習(xí)程序)以在計劃表的特定時間段期間調(diào)度內(nèi)容。在此示例性方案中，假定將數(shù)字標牌網(wǎng)絡(luò)調(diào)配到百貨商店中，并且將網(wǎng)絡(luò)構(gòu)造用于進行ROI測定。另外假定時隙樣本將被用作播放列表計劃表的時間段。一個顯示器靠近店內(nèi)小餐館，其中VVD已確定為45分鐘。小餐館顯示器一直運行持續(xù)實驗，所述實驗涉及為飲食獲取一杯葡萄酒、開胃菜、甜點等等的建議。此外，所進行的實驗具有涉及百貨商店的各個零售部門的銷售規(guī)劃的內(nèi)容。實驗內(nèi)容穿插食物相關(guān)內(nèi)容。另一個顯示器位于百貨商店的圖書/音樂部門，其中VVD已確定為20分鐘。此顯示器運行僅涉及在圖書/音樂部門中銷售的貨物的實驗。另一個顯示器位于一樓的自動樓梯附近，并且從百貨商店入口相距不遠且可見。此顯示器運行涉及多種內(nèi)容的實驗，所述內(nèi)容包括小餐館、零售部門、以及圖書/音樂部門。用于百貨商店的總VVD已確定為70分鐘。 每個顯示器具有由下文所述的算法所確定的長度的開放時隙樣本。用戶決定將機器學(xué)習(xí)提高整合到百貨商店的數(shù)字標牌網(wǎng)絡(luò)。對于下一季度，將用戶的商業(yè)目的定義為(1)增加圖書/音樂的市場份額。在兩個街區(qū)外有家競爭商店并且用戶將愿意取得其生意中的一些。(2)將更多的人帶入小餐館作為晚餐目的地，而非只是顧客購物時吃快餐的地方。(3)通過恢復(fù)舊式的預(yù)付款保留銷售法來銷售更多的皮大衣，由此人們挑選出他們的大衣并且在顧客支付150美元/月時商店保存此大衣，直至這件大衣的費用被付清。然后可按照本文所述的負責(zé)上述必要條件和約束條件的方式來生成計劃表。此方案闡明使用播放列表計劃表時可導(dǎo)致的額外復(fù)雜度，所述播放列表計劃表被構(gòu)造用于根據(jù)本發(fā)明的實施例來同時運行因果實驗和優(yōu)化程序。實例#6為簡便起見，并且為了強調(diào)上文實例#5所述的播放列表計劃表生成方案中的多個商業(yè)目的和多個VVD的作用，應(yīng)當(dāng)考慮位于圖書/音樂部門內(nèi)的顯示器。初始步驟涉及定義回答下述問題的實驗。哪個將執(zhí)行地較好對于傍晚對比上午的購物者來說，廣告把書籍購買描述成“投資”對比“贏得的奢侈”？在此示例性實例中，已確定VVD為30分鐘并且 TSS為60分鐘。假定將使用包括探索/開發(fā)算法的強化學(xué)習(xí)程序。根據(jù)上文實例#2中的步驟1-5，下述為適用的探索/開發(fā)算法將使用多個商業(yè)目的，所述商業(yè)目的包括1.圖書/音樂部門銷售a. VVD 為 30 分鐘。b. 15% 利潤率c.無時間限制d.使用2條內(nèi)容2.小餐館銷售a. VVD 為 1 小時。b. 25%利潤率c.無時間限制d.使用3條內(nèi)容3.皮大衣預(yù)付款保留銷售法a. VVD為4小時(通常情況顧客將看到大衣的預(yù)付款保留銷售法廣告、離開商店、 并且在咨詢其配偶之后返回進行購買)。b. 60%利潤率c.無時間限制d.使用3條內(nèi)容4.上文實例#2中的步驟6-指定計劃表
a.在這種情況下，將在上午(8AM-12AM)和傍晚0PM-8PM)運行實驗。下文所述的方法用于調(diào)度如圖19所示的這些內(nèi)容條(篩網(wǎng)圖案)。b.探索/開發(fā)算法將調(diào)度這些時間內(nèi)的“小餐館”和“預(yù)付款保留銷售法”內(nèi)容。c.在下午時間段(12PM-4PM)期間，探索/開發(fā)算法也將調(diào)度除“小餐館”和“預(yù)付款保留銷售法”內(nèi)容之外的“圖書/音樂”內(nèi)容。d.探索/開發(fā)算法將選擇該時間段內(nèi)(開發(fā))執(zhí)行最好的內(nèi)容或者將評價先前并非是最好執(zhí)行者的一條內(nèi)容(參見上文實例#2中的步驟6d和6e)。e.每條內(nèi)容將顯示30秒時間段并且將在該特定時隙樣本期間重復(fù)。i.如，從上午8點-9點，將以30秒的增量重復(fù)三條內(nèi)容1.圖書/音樂-投資2.小餐館-A3.預(yù)付款保留銷售法-A圖19示出了具有多個商業(yè)目的(圖書/音樂；小餐館；預(yù)付款保留銷售法)的一日計劃表。斜線圖案化方格示出了用于每個商業(yè)目的的TSS時間段。所述圖案指示該時間段是否專用于實驗、探索或是開發(fā)內(nèi)容。對于每個1小時的時間段，顯示用于圖書/音樂、 小餐館、以及預(yù)付款保留銷售法的一條內(nèi)容。應(yīng)當(dāng)注意，所構(gòu)造的此計劃表僅用于一日和一個位置(圖書/音樂部門顯示器)。通常，將在多天并且可能在多個位置運行實驗。圖20為第二計劃表的實例，其中用戶測試“小餐館-A”內(nèi)容對比“小餐館-B”內(nèi)容的有效性。在此示例性實例中，“圖書/音樂”商業(yè)目的受控于探索/開發(fā)算法，并且此算法根據(jù)上文實例#2的步驟6d和6e來調(diào)度內(nèi)容。在實例#6中可看出，探索/開發(fā)時隙樣本可優(yōu)選按照下文所述的方式構(gòu)造為具有不同的觀察者訪問持續(xù)時間和數(shù)據(jù)采集持續(xù)時間。根據(jù)另一個方法，探索/開發(fā)程序可使用來自單個時隙樣本的數(shù)據(jù)，從而理解因果關(guān)系的置信度顯著較低。然而，重要地是，VVD、TSS、和數(shù)據(jù)采集持續(xù)時間之間的關(guān)系的所述用途確實消除了相同位置殘留效應(yīng)。為了保持真實驗約束的完整性，在實驗TSS期間所示的所有探索/開發(fā)程序內(nèi)容必須為“不相關(guān)的”。以舉例的方式，一小時的TSS可連續(xù)示出實驗內(nèi)容、開發(fā)內(nèi)容(商業(yè)目的A)、開發(fā)內(nèi)容(商業(yè)目的B)、和天氣預(yù)報內(nèi)容的15秒內(nèi)容剪輯。在這種情況下，可同時在三個獨立的銷售點系統(tǒng)進行數(shù)據(jù)采集，其中一個測定實驗效應(yīng)、一個測定商業(yè)目的A開發(fā)的效應(yīng)、并且一個測定商業(yè)目的B開發(fā)的效應(yīng)。采集的所有數(shù)據(jù)因通信內(nèi)容的不相關(guān)性而為“純凈的”。根據(jù)其它實施例，可實施兩個不同且“不相關(guān)的”計劃表以在同一顯示器上同時運行?？擅扛?0秒或如由兩個不相關(guān)的計劃表指定的其它時間間隔進行內(nèi)容轉(zhuǎn)換。兩個計劃表可具有極為不同的時間特征。例如，在兩個計劃表之間，VVD、TSS、和數(shù)據(jù)采集持續(xù)時間中的至少一者可不同。又如，在兩個計劃表之間，VVD、TSS、和數(shù)據(jù)采集持續(xù)時間中的每一者均可不同。例如，可生成兩個計劃表以進行因果實驗(如，真實驗)。進一步如，可生成兩個計劃表以執(zhí)行機器學(xué)習(xí)程序(例如探索/開發(fā)程序)。根據(jù)另一個實例，可生成一個計劃表以進行因果實驗，并且可生成另一個計劃表以執(zhí)行機器學(xué)習(xí)程序。應(yīng)當(dāng)理解，可構(gòu)造不止兩個計劃表以實施多個因果實驗、機器學(xué)習(xí)程序、或者因果實驗和機器學(xué)習(xí)程序的組合。每當(dāng)進行研究時，其產(chǎn)生顧客成本。將專用于研究的時間段用于采集數(shù)據(jù)或知識而非集中于產(chǎn)生投資回報率(如，使用探索/開發(fā)算法)。研究成本可計算為通過使用優(yōu)化算法產(chǎn)生的收入相對實際研究期間產(chǎn)生的資金量的差值。因為存在與運行實驗相關(guān)的可測定成本(即，與不使用機器學(xué)習(xí)程序相關(guān)的機會成本)，本發(fā)明的實施例為用戶提供在適當(dāng)?shù)幕蝾A(yù)定的階段自動終止的能力。例如，當(dāng)(1)數(shù)據(jù)已顯示顯著性結(jié)果或(2)當(dāng)給定當(dāng)前效應(yīng)大小和評價差異，與研究相關(guān)的成本超過顧客在研究上設(shè)置的值時，用戶可指定自動終止研究。盡管存在描述可如何確定是否繼續(xù)采集數(shù)據(jù)的已知方法，但迄今為止這些方法中沒有一者適用于或設(shè)想利用數(shù)字內(nèi)容分配系統(tǒng)來評價實驗。實例#7下述為根據(jù)本發(fā)明的實施例來評價進行研究的成本的示例性實例。如圖21-23所示，用于進行本發(fā)明的研究的成本評價的代表性過程包括下述過程1.按本文所述來實施因果實驗(100)。2.實驗值用戶指定當(dāng)前實驗的值(102)。3.用戶按上文實例#2中所述來指定優(yōu)化變量(104)。4.分配內(nèi)容并且采集數(shù)據(jù)(106)。5.分析數(shù)據(jù)(108/100)a.運行實驗的持續(xù)分析(112/130)i.計算內(nèi)容和條件的均值和標準差(參見上文實例#2的步驟8a以及圖17) (132)。ii.計算功效分析(134)1.統(tǒng)計功效分析指定對于給定當(dāng)前內(nèi)容效應(yīng)大小(條件之間的差異)、當(dāng)前方差 (測定中存在差異大小)、和已采集的樣本數(shù)而言還將需要的更多樣本數(shù)量。iii.計算真實效應(yīng)大小大于用戶將認為有價值的效應(yīng)大小的可能性(136)1.如果可能性過低(或使用功效分析發(fā)現(xiàn)的成本昂貴)，則建議終止研究(138)。b.實驗_R0I 計算在這種情況下為實驗生成的ROI (使用上文實例#2的步驟2中指定的權(quán)重)(114)。c.探索/開發(fā)_R0I 基于歷史數(shù)據(jù)，計算可使用探索/開發(fā)程序?qū)Ρ葘嶒炆傻念A(yù)測ROI (使用上文實例#2的步驟2中指定的權(quán)重)(116)。d.確定研究價值是否超過研究成本(118)i.如果實驗_值< (探索/開發(fā)_R0I-實驗_R0I)，則終止或提醒用戶(120)。ii.否則繼續(xù)(122)6.向用戶提供估計成本以確定用戶是否有興趣終止研究(IM)。7.重復(fù)上述步驟1-6 (126)。上文實例#7的方法步驟描述了一種用于決定是否以及何時終止研究的方法。本領(lǐng)域的技術(shù)人員將會知道，存在用于計算何時終止研究的其他算法，并且可根據(jù)本發(fā)明的實施例使用這些算法。在本發(fā)明的背景下使用數(shù)字標牌網(wǎng)絡(luò)的優(yōu)點為可在單個顯示器上顯示多個消息。 這提供了機會以及挑戰(zhàn)。市場營銷和基本記憶研究均清晰地顯示人類通常需要消息多次顯示以便記憶消息以及對消息作出反應(yīng)。一方面，數(shù)字標牌網(wǎng)絡(luò)提供隨時間推移向觀察者呈現(xiàn)不同消息的機會。然而，考慮到顧客對消息作出反應(yīng)通常需要多次顯示，如果一個人不仔細，則當(dāng)顧客沒有體驗到足夠次數(shù)的消息以實際上改變其行為時，消息可變?yōu)闊o效。挑戰(zhàn)是不存在將確保最大有益效果的規(guī)定體驗次數(shù)。所需體驗次數(shù)將取決于多個因子，包括(但不限于)1.消息的強度/功效a.即，內(nèi)容如何有效2.消息所要求的行為a.如，“購買佳潔士牙膏”對比“購買本田雅閣”3.觀察者在處理內(nèi)容時如何分心a.即，觀察者能夠處理多少內(nèi)容b.如，在高難度的立體交叉道內(nèi)行駛對比坐在公共汽車站等待公共汽車4.顧客對消息的接受程度a.即，向素食大會廣告“Calfand Steer”飯店。本發(fā)明的實施例涉及識別用于在數(shù)字標牌上顯示內(nèi)容的頻率，所述數(shù)字標牌能自動地優(yōu)化內(nèi)容的顯示頻率以最大化顧客的R0I。參照圖M和25A-25B，下述實例闡明了根據(jù)本發(fā)明的實施例的頻率優(yōu)化過程實例#81.按本文所述來實施因果實驗(140)。2.用戶按上文實例#2中所述來指定優(yōu)化變量(141)。3.分配內(nèi)容并且采集數(shù)據(jù)(142)(參見上文實例#2的步驟6)a.使用上文實例#2的步驟6d中所述的過程，確定系統(tǒng)是否將基于歷史數(shù)據(jù)提供當(dāng)前最佳混合頻率(開發(fā))或?qū)y試不同的混合頻率(探索)(143)。b.如果處于“開發(fā)”模式，則使用歷史數(shù)據(jù)來確定最佳頻率混合(144)。i.圖25A示出了歷史數(shù)據(jù)的結(jié)果，所述歷史數(shù)據(jù)示出兩條內(nèi)容隨時隙樣本時間段內(nèi)的顯示頻率變化的有效性。圖25B示出了這兩條內(nèi)容的預(yù)測頻率混合和下述預(yù)測，即時隙樣本時間段(具有10個顯示周期)的最佳混合將顯示6次房間升級無模型和4次酒吧效率。c.如果處于“探索”模式，則選擇當(dāng)前并非為最佳頻率混合的頻率混合(145)。4.分析數(shù)據(jù)并且更新歷史數(shù)據(jù)庫(參見上文實例#2的步驟8b) (146)a.保存以當(dāng)前比率顯示內(nèi)容的主要效應(yīng)(參見圖25A)。b.保存顯示內(nèi)容以及與該內(nèi)容配對的當(dāng)前頻率的組合效應(yīng)(參見圖25B)。5.重復(fù)上述步驟3-4直到用戶修改上述步驟2或終止過程(147)。圖25A和25B示出了在時隙樣本時間段內(nèi)“混合”房間升級無模型與房間升級有模型的結(jié)果。在這種情況下，時隙樣本時間段可提供總計10次顯示。圖25A示出了用于在時隙樣本時間段期間顯示1到10次房間升級無模型和酒吧效率的R0I。圖25B示出了混合這兩條內(nèi)容的顯示的效應(yīng)。優(yōu)化算法返回表明，對于時隙樣本時間段，最佳頻率提供6個房間升級無模型的樣本和4次(10-6)酒吧效率內(nèi)容的顯示。探索/開發(fā)算法的有益效果中的一個為其被設(shè)計用于自動地“探索”內(nèi)容顯示模式的空間從而找到最好的、或者最佳的內(nèi)容混合以向顧客返回ROI值。在此探索階段，存在大量算法開始揭示的知識。這個知識以內(nèi)容(以及內(nèi)容屬性，例如顏色、策略等等)、位置、 顧客類型、時刻等等之間的特定相關(guān)性的形式出現(xiàn)。這些相關(guān)性中的多者為因隨機機會產(chǎn)生的偽相關(guān)。其它相關(guān)性可對其具有因果成分。為了區(qū)別偽相關(guān)和因果關(guān)系，需要對照研挑戰(zhàn)為確定實際追尋的相關(guān)性。探索/開發(fā)算法將揭示數(shù)據(jù)中的多個相關(guān)性。一些相關(guān)性可對用戶具有顯著價值而其它將不具有太多價值。本發(fā)明的實施例涉及使用自動假設(shè)生成方法(在本文中稱為自動假設(shè)生成法)來識別和揭示有價值的相關(guān)性，其代表性實例在下文參照圖沈-觀進行描述。實例#91.按照本文所述來實施因果實驗(150)。2.用戶按上文實例#2中所述來指定優(yōu)化變量(152)。3.用戶定義用于自動假設(shè)系統(tǒng)的相關(guān)因子(153/160)i.用戶指定不同有效性尺度、有效性尺度的組合(目標函數(shù))的值，其因變量測定值為有興趣發(fā)現(xiàn)相關(guān)性(如，酒吧銷售、房間升級等等)的用戶(161)。b.用戶指定所關(guān)注因子(162)i.如，酒店類型(如城市對比郊區(qū))之間的任何可區(qū)分相關(guān)性c.用戶指定有意義的效應(yīng)大小(163)i.多大的效應(yīng)(如，10%的差異)將觸發(fā)系統(tǒng)提醒用戶或設(shè)計特定實驗d.用戶指定其是否想被提醒或具有自動生成實驗研究的系統(tǒng)(164)i.用戶可指定他們愿意支付自動生成實驗的最大成本(參見上文實例#7的研究的成本評價)(166)。如果預(yù)測成本低于可接受成本，則自動生成實驗(168)。4.分配內(nèi)容并且采集數(shù)據(jù)(參見如上文實例#2的步驟6) (154)。5.分析歷史數(shù)據(jù)(156/170)a.計算商業(yè)有效性尺度與所關(guān)注因子(上述步驟北所定義的)和其它因子之間的相關(guān)性(172)b.找到效應(yīng)大小大于可接受效應(yīng)大小的相關(guān)性(參見上述步驟3c) (173)c.確定系統(tǒng)是否應(yīng)該向用戶發(fā)送提醒、自動生成實驗、或這兩者(參見上述步驟 3d) (174)i.如果提醒，則向用戶發(fā)送提醒(175)。ii.如果自動生成實驗1.計算研究的預(yù)期成本(參見上文實例#7)并且與上文步驟3d (i)中可接受成本進行比較(176)。2.如果成本為可接受的，則自動生成實驗(178)。6.重復(fù)上文的步驟1-5 (159)。可根據(jù)各個實施例實施本發(fā)明的系統(tǒng)和方法，即連續(xù)地分析數(shù)字標牌網(wǎng)絡(luò)中的所有顯示器，以確定每個顯示器是否應(yīng)為進行因果實驗或執(zhí)行機器學(xué)習(xí)程序而顯示內(nèi)容?？蓪嵤┍景l(fā)明的實施例以連續(xù)地分析所有DSN顯示器從而有效地確定每個顯示器是否受控于因果實驗系統(tǒng)或受控于機器學(xué)習(xí)系統(tǒng)。優(yōu)選通過DSN系統(tǒng)基于相對于下述損失機會的下述成本做出此決策，所述成本為使用用于實驗的每個顯示器上特定時間段的成本，所述損失機會為使用用于通過執(zhí)行機器學(xué)習(xí)程序來優(yōu)化預(yù)定商業(yè)目的的每個顯示器上的相同時間段的損失機會。圖四示出了下述方法的代表性實施例，所述方法用于進行DSN的所有顯示屏的評價以及在因果實驗系統(tǒng)或機器學(xué)習(xí)系統(tǒng)的控制下來分配顯示屏?xí)r間。圖四所示的方法基于顯示器互聯(lián)方式有效地將一段時間(如，TSS)移交至因果實驗系統(tǒng)或者機器學(xué)習(xí)系統(tǒng)， 并且每個時間段均是如此。如圖四所示，如果所述時間段將由機器學(xué)習(xí)程序還是因果實驗使用或控制，則 DSN系統(tǒng)處理器或模塊被構(gòu)造(S卩，被設(shè)計為執(zhí)行保存在存儲器中的程序指令)用于確定對于每個播放列表計劃表和相關(guān)顯示器的每個時間段(如，TSS) (201/203) 0如果模塊確定時間段將用于機器學(xué)習(xí)程序，則將適當(dāng)?shù)膬?nèi)容分配到通過機器學(xué)習(xí)程序確定的時間段(205)。 例如，可設(shè)計機器學(xué)習(xí)程序以在該時間段期間顯示探索內(nèi)容或開發(fā)內(nèi)容。如果模塊確定時間段將用于因果實驗，則將適當(dāng)?shù)膬?nèi)容(如，實驗內(nèi)容或安慰劑內(nèi)容)分配到通過因果實驗確定的時間段007)。分配并顯示分配到時間部分的內(nèi)容009)。對于數(shù)字顯示網(wǎng)絡(luò)中的每個顯示器的每個時間段重復(fù)圖四所示的過程。圖30在系統(tǒng)范圍上示出可如何根據(jù)本發(fā)明的實施例在各個時間段基于顯示器互聯(lián)方式來執(zhí)行圖四中所述的過程。諸如DSN系統(tǒng)處理器或模塊之類的決策工具基于系統(tǒng)范圍條件來決定特定時間段(如，TSS)將由因果實驗還是機器學(xué)習(xí)程序使用或控制020)。 如果為前者，則實驗系統(tǒng)有效地控制時間段022)。如果為后者，則MLR系統(tǒng)有效地控制時間段QM)。因此適當(dāng)?shù)膬?nèi)容被分配到整個網(wǎng)絡(luò)的顯示器上0沈)。在圖30所示的實施例中通過服務(wù)器(228)管理內(nèi)容分配(226)。服務(wù)器(228)通信耦合至多個顯示器0四)，其中在圖30中示出六個以用于舉例說明。各個顯示器(229) 的狀態(tài)在示為此實施例中的時隙樣本的所有時間和所有時間段下均為已知的。對于每個顯示器0四)，均針對計劃表中的每個時間t示出當(dāng)前TSS和模式(實驗或MLR模式)，所述計劃表被服務(wù)器0 )(優(yōu)選被DSN系統(tǒng)處理器或模塊)用于控制內(nèi)容分配。在一些實施例中，時間t和時間t+Ι之間的時間為時隙樣本的持續(xù)時間。在其它實施例中，時間t和時間t+Ι之間的時間為由本文所述的時間間隔(Tl)定義的持續(xù)時間。沿時間軸豎直觀看，針對計劃表控制的每個時間增量(即，@時間t、t+1、t+2等等)均示出各個顯示器的狀態(tài)。例如，DSN系統(tǒng)已確定TSS 1將用于由顯示器1在時間t 處執(zhí)行機器學(xué)習(xí)程序。對于時間t+l，DSN系統(tǒng)已確定TSS 7將用于由顯示器1進行因果實驗。繼續(xù)此實例，可看出對于時間t+2，DSN系統(tǒng)已確定TSS 13將用于由顯示器1進行因果實驗。根據(jù)本發(fā)明的此實施例，對于計劃表中的t至t+n的每個時間，DSN系統(tǒng)中的所有顯示器的狀態(tài)均以類似方式已知并且進行控制。圖30提供進一步強調(diào)使用常規(guī)系統(tǒng)和技術(shù)不可實現(xiàn)的優(yōu)點和有益效果的系統(tǒng)視圖。為進一步強調(diào)上文所述的真實世界實施問題的各方面，應(yīng)當(dāng)理解，每當(dāng)顯示器用于通過 MLR優(yōu)化時，顯示器則不用于通過因果實驗獲得洞察力，并且反之亦然。將相對顯示時間的分配視為最佳的系統(tǒng)將分析各個顯示器的各個時間單元，并且通過用于因果實驗對比用于最大化商業(yè)目來確定顯示時間單元是否將增加更大數(shù)值。目前，不存在可實現(xiàn)或達到此最佳系統(tǒng)的常規(guī)系統(tǒng)或方法。
有利地是，本發(fā)明的系統(tǒng)和方法自動地通過頂層決策工具中的優(yōu)化算法來制定此最佳分配決策。即，頂層決策工具確保在整個內(nèi)容分配網(wǎng)絡(luò)上最大化獨立得自兩個子部件 (因果實驗系統(tǒng)和MLR系統(tǒng))的值，前提條件是每個子部件需要控制時間段(如，時隙樣本) 以便實現(xiàn)其目的。其中決策工具可重新分配控制的一種方法為基于在因果實驗期間獲得的并且與因果實驗相關(guān)的信息。提供下述實例，其涉及時隙樣本形式的時間段以進行示意性的說明。實例#10由于存在用于當(dāng)因果實驗在進行時調(diào)整實驗執(zhí)行的方法，頂層決策工具可不斷地重新評價成本/利益方程，子系統(tǒng)應(yīng)利用所述成本/利益方程來控制隨時間發(fā)展的各個時隙樣本。即，從因果實驗獲得的洞察力的值可通過在其中實際實施實驗的時間段期間進行 /完成實驗的成本來克服?；谠缦鹊囊蜃兞繑?shù)據(jù)，決策工具(或?qū)嶒炏到y(tǒng))可確定探索中的因子的計劃效應(yīng)大小可能遠小于初始預(yù)期，由此，將花費較長時間來進行實驗以達到所需的統(tǒng)計功效，并且因此按照網(wǎng)絡(luò)所有者可通過由MLR系統(tǒng)控制而另外獲得的利益，進行實驗的成本可超過洞察力的預(yù)期利益。實例#11將特定時隙樣本(在特定的顯示器上，在特定的位置處)專用于控制實驗系統(tǒng)的值可由于MLR系統(tǒng)有能力控制該時隙樣本/顯示器和獲得更高值而改變。例如，然而特定時隙樣本可已開隙以運行實驗的“條件X”，如果MLR系統(tǒng)可通過控制該顯示器、該位置處的時隙樣本獲得更大值，則決策工具可將用于實驗的“條件X”的實施方式移至系統(tǒng)上的另一個顯示器。即，“條件X”可已開隙為在上午10點于迪比克(Dubuque)的顯示器上播放，但現(xiàn)在決策工具決定將該條件移至不同的時隙樣本以使其在上午10點于圣地亞哥(San Diego) 的顯示器上播放。由此，存在下述方法，其中決策工具可通過時隙樣本的移位控制來加速或減速實驗，并且存在下述方法，其中決策工具可將實驗保持為相同速度、但在整個網(wǎng)絡(luò)上重新設(shè)置實驗條件在物理世界的物理位置。同樣，決策工具可因從機器學(xué)習(xí)程序獲得的信息而重新分配控制。再次參見圖30和40C，并且參照決策過程(220)，“實驗對比MLR系統(tǒng)決策工具”為一套不斷監(jiān)測網(wǎng)絡(luò)并且決定如何分配每個顯示器的每個TSS對子部件系統(tǒng)的控制的算法 a)實驗系統(tǒng)G23)，b)MLR系統(tǒng)027)。決策工具(220)使用的輸入來自涉及實驗洞察力的值的用戶、涉及所需樣本大小/持續(xù)時間以滿足所需統(tǒng)計功效的實驗系統(tǒng)、隨實驗發(fā)展的輸入因變量數(shù)據(jù)、以及允許MLR控制TSS以便最大化當(dāng)前商業(yè)目的的預(yù)估值或已知值。實驗系統(tǒng)(423)為被構(gòu)造用于接收輸入(例如所關(guān)注的因變量測定值以及它們的特征、所關(guān)注的環(huán)境因子、所關(guān)注的內(nèi)容因子、用于所關(guān)注的因變量測定值的觀察者訪問持續(xù)時間、以及實驗緊迫性/價值)的子部件。實驗系統(tǒng)(423)然后生成將在內(nèi)容分配網(wǎng)絡(luò)上進行的實驗。實驗系統(tǒng)(423)可估計達到統(tǒng)計功效的期望水平所需的預(yù)期持續(xù)時間/樣本大小。MLR系統(tǒng)(427)為一套執(zhí)行機器學(xué)習(xí)算法的處理器，所述機器學(xué)習(xí)算法不斷地管理內(nèi)容分配以便最大化所關(guān)注數(shù)據(jù)流中的輸出。MLR系統(tǒng)(427)接收下述輸入，例如商業(yè)目的及它們的值、每個有效性尺度的值、可用于在網(wǎng)絡(luò)上顯示的內(nèi)容、任何位置或時間約束、 以及與內(nèi)容有關(guān)的觀察者訪問持續(xù)時間。在實驗系統(tǒng)(423)和MLR系統(tǒng)027)(和/或頂層決策工具(220)本身)的指導(dǎo)下，通過計算機硬件和軟件(如，服務(wù)器在整個內(nèi)容分配網(wǎng)絡(luò)上進行內(nèi)容分配(133)。圖30示出了六個單獨物理位置的代表性網(wǎng)絡(luò)，其中每個位置具有一個顯示器 0四)，總網(wǎng)絡(luò)具有六個顯示器。例如，這些可為位于美國的六個城市中的六個不同的快速服務(wù)餐館。在網(wǎng)絡(luò)操作期間的某一時刻，所有顯示器(229)均將顯示通過如何采集各個TSS 定義的內(nèi)容。即，網(wǎng)絡(luò)上的TSS的持續(xù)時間中可為30分鐘，并且每條內(nèi)容的長度可為30秒。 因此，每個TSS中將播放60條內(nèi)容。內(nèi)容條得自可用內(nèi)容庫中(如，保存在服務(wù)器0 )/ (421)中)。優(yōu)選通過與實驗系統(tǒng)(423)或MLR系統(tǒng)(427)相關(guān)的算法來控制填充每個30分鐘 TSS的(至多)60個獨特內(nèi)容條的混合。然而，如圖表中所示，整個網(wǎng)絡(luò)上的任何特定TSS 均可在實驗或MLR算法的控制下(其中‘控制’是指選擇填充TSS的內(nèi)容及其在TSS內(nèi)的播放順序)。并且，任何時間點的每個TSS均可受控于實驗系統(tǒng)(42 或MLR系統(tǒng)027)。在下一個TSS (下一個30分鐘時間段)，顯示器(229)可在TSS內(nèi)顯示內(nèi)容，所述 TSS受控于與先前TSS相同的子部件、或其他子部件(如通過沿圖30中隨時間向前發(fā)展的豎直軸觀看所示)。例如，決策工具(220)可決定在TSS 1，顯示器1將顯示由MLR系統(tǒng) (427)(用于優(yōu)化商業(yè)目的)定義的內(nèi)容。然而，當(dāng)顯示器1在TSS 7內(nèi)顯示內(nèi)容時，決策工具(220)可計算出(對于給用戶的最大值)TSS 7應(yīng)受控于實驗系統(tǒng)023)。因此，在任何時間點，不同位置的顯示器(229)可受控于相同或不同的子部件(實驗系統(tǒng)(423)或MLR系統(tǒng)(427))，依據(jù)為在時隙樣本內(nèi)顯示由實驗系統(tǒng)(423)或MLR系統(tǒng)(427)定義(或控制) 的內(nèi)容。圖31-33為示出根據(jù)本發(fā)明實施例的過程的流程圖，所述過程用于連續(xù)評價因果實驗系統(tǒng)或機器學(xué)習(xí)系統(tǒng)的顯示時間段(如，TSS)的分配。符合圖31-33的過程的代表性實施方式在下文中描述于下述實例的上下文中。實例#121.定義因果實驗Q30)a.定義因變量因子和自變量因子。2.輸入緊迫性日期和假設(shè)值031)a.指定實驗中主要效應(yīng)和交互作用的相對值。3.輸入不同有效性尺度的相對值(232)。a.例如，每次升級價值100美元并且在酒吧花費的每一美元值0. 20美元。4.定義用于因果研究的要求/期望的實驗時間段(如，時隙樣本)的性能033)a.指定在實驗中需要運行的所有條件。b.基于主要效應(yīng)和交互作用的值，指定每個條件內(nèi)的樣本數(shù)。5.生成調(diào)度分配的多個時隙樣本035)，其將a.在緊迫性日期之前完成實驗。b.滿足要求的實驗條件。6.使用歷史數(shù)據(jù)來計算與每個調(diào)度分配相關(guān)的機會成本036/241)
26
a.對于特定調(diào)度分配中每個時隙樣本周期，生成目標值預(yù)測(M3)。i.通過采取用于有效性尺度和來自MLR的預(yù)測ROI的相對值并且計算預(yù)測的目標值預(yù)測來生成目標值預(yù)測045)。1.如，對于TSS1，據(jù)預(yù)測，將在酒吧中存在10次升級和500美元。此TSS的目標值將為 $1，100 = (10 X $100/升級)+($500 X 0.2)。ii.將調(diào)度分配內(nèi)的TSS的所有預(yù)測目標值加和047)。此值指定未將TSS專用于MLR的機會成本(M9)。7.選擇具有最低機會成本的計劃表(238)。8.不斷地重新評價調(diào)度分配并且當(dāng)識別到具有較低機會成本的計劃表時重新分配(239/250)。a.新近獲得的歷史數(shù)據(jù)和/或關(guān)于有效性尺度的新相對值將改變不同TSS的預(yù)測值。這些變化可影響費用最低的調(diào)度分配。b.分析用于將足夠的樣本分配到每個主要效應(yīng)和相互作用以生成統(tǒng)計學(xué)上可靠的效應(yīng)的成本(252)。i.基于功效分析，重新評價剩余條件(即，重新分配樣本條件)，需要進行所述剩余條件，其考慮各假設(shè)的值和與每個假設(shè)相關(guān)的成本(253)。c.識別仍需要測試的剩余實驗條件(如，與時刻、商店類型等等相關(guān)的那些) (254)。i.這些條件為仍有待測試的在上述步驟4中識別的條件。d.考慮測試所有剩余條件的多個計劃表分配(255)。i.使用與上文步驟6中所述相同的方法。e.識別具有最低機會成本的計劃表(256)。f.確定機會成本是否小于假設(shè)值(上文步驟2)。i.如果不小于，則提醒用戶059)。實例#13Manticore有興趣評價在升級數(shù)量方面，升級內(nèi)容中的人物模型是否比無模型更有效。Manticore也有興趣評價具有模型是否與時段相互作用。更具體地講，Manticore有興趣評價上午登記對比傍晚登記。所關(guān)注的主要問題為有模型是否相對無模型改善業(yè)績， 無論其顯示時刻如何。次要問題為模型的使用是否與時刻相互作用。為了優(yōu)化研究設(shè)計，用戶輸入兩個問題的值。在此示例性實例中，用戶指定有模型對比無模型具有$10，000的值，而相互作用具有$3，000的值。緊迫性日期設(shè)定為在30天內(nèi)完成研究。用戶也會被詢問關(guān)于其認為有價值的最小效應(yīng)大小。用戶指定至少10%的效應(yīng)大小將需要為受關(guān)注的。系統(tǒng)首先評價與兩個不同設(shè)計相關(guān)的機會成本是否低于由用戶應(yīng)答所問的兩個問題(即，有模型對比無模型以及模型與時刻的相互作用)而設(shè)定的價值的閾值。第一分析將確定用于運行評價使用有模型對比無模型的有效性的實驗的預(yù)測機會成本。首先，系統(tǒng)識別可用于完成研究的時間段的采集。利用時隙樣本的特性，系統(tǒng)使用歷史數(shù)據(jù)來確定升級數(shù)據(jù)的差異并且完成功效分析來確定樣本數(shù)以找到具有由用戶指定的大小(10%)的顯著主要效應(yīng)。功效分析預(yù)測需要150個樣本(75個有模型和75個無模型)以找到可靠效應(yīng)?；跁r隙樣本的此集合，系統(tǒng)使用其歷史數(shù)據(jù)來生成有關(guān)使用機器學(xué)習(xí)程序的這些不同時隙樣本的預(yù)期回報(用于機器學(xué)習(xí)程序的預(yù)期回報，在此示例性實例中表示為 ER(MLR))預(yù)測。另外，使用歷史數(shù)據(jù)庫，系統(tǒng)制定有關(guān)用于顯示升級內(nèi)容的預(yù)期回報(用于真實驗的預(yù)期回報，在此示例性實例中表示為ER(TE))的預(yù)測。此實例中的預(yù)測ER(MLR) 為$20，000并且ER(TE)預(yù)測為$15，000。將這兩個預(yù)測值之間的差值計算為機會成本0C_ 模型=ER (MLR) -ER (TE_ 模型)在這種情況下機會成本($5，000 = $20，000_$15，00)低于與在內(nèi)容中使用模型相關(guān)的假設(shè)的答案值($10，000)。系統(tǒng)隨后考慮用于回答有關(guān)相互作用的問題的機會成本(有模型對比無模型以及上午對比傍晚)?？紤]僅包括上午和傍晚時間段的第二組時間段。根據(jù)用戶輸入(上文所述)，相互作用的值為$3，000。因此，如果增加時刻的約束將實驗成本提高超過$3，000， 則將提醒用戶此事實。通過下述公式計算生成具有相互作用的實驗的機會成本0C_ 相互作用=(ER (MLR) -ER (TE_ 相互作用))_0C_ 模型通過制定有關(guān)僅上午和傍晚時段的MLR預(yù)測值來計算ER(MLR)——其它時段不予考慮。在這種情況下，ER(MLR)經(jīng)計算為$23，000。使用歷史數(shù)據(jù)庫，用于在這些相同時間段期間顯示升級內(nèi)容材料的預(yù)測的預(yù)期回報為$16，000。因此，用于運行具有相互作用的實驗的預(yù)測機會成本為$2，000 (($23，000-$ 16，000)-$5, 000)。初始分析表明，運行具有相互作用的實驗的機會成本($2，000)低于由回答用戶指定的值($3，000)?；趦蓚€問題的機會成本均低于答案值，系統(tǒng)生成滿足具有適當(dāng)反向平衡和隨機化(將在由用戶指定的30天緊迫性時期之前完成)的研究的要求的初始計劃表。當(dāng)采集數(shù)據(jù)時，系統(tǒng)不斷地重新評價功效分析和完成研究所需的樣本數(shù)。此外，也不斷地評價機會成本以確定與回答每個問題相關(guān)的預(yù)測機會成本是否一直低于由用戶指定的答案值。在此實例中，在第3天的研究之后，相互作用的功效分析表明，因為存在小的相互作用效應(yīng)，因此將需要大量樣本來生成顯著的(并且有意義的)差異(從初始估計的200 個樣本到1000個樣本)。必要樣本大小的增加會產(chǎn)生相互作用的下述機會成本，其超過由用戶指定的相互作用的值($3000的值以及$12，000的預(yù)測機會成本)。即，相互作用的效應(yīng)大小非常小。相比之下，有模型對比無模型的主效應(yīng)的效應(yīng)大小非常大并且用于完成僅具有主要效應(yīng)的實驗的預(yù)測機會成本仍低于答案值($10，000的值和$5，000的預(yù)測機會成本)。提醒用戶下述事實，即與找到顯著相互作用相關(guān)的機會成本當(dāng)前超過研究值，并且詢問用戶愿意繼續(xù)具有相互作用的研究還是僅運行研究來對相互作用生成答案。對于任一回應(yīng)，系統(tǒng)將需要生成新計劃表。如果用戶決定繼續(xù)進行研究，則計劃表將必須包括顯著較大組的樣本。如果用戶決定繼續(xù)進行研究，但僅運行具有相互作用的研究，則系統(tǒng)將重新調(diào)度內(nèi)容以包括所有時段期間(不只是上午和傍晚時段)的內(nèi)容。系統(tǒng)將繼續(xù)生成功效分析以確保存在足夠的樣本以完成具有統(tǒng)計可靠性的研究并且確保用于找到答案的機會成本不超過與問題相關(guān)的值。本系統(tǒng)的其它實施例包括其中用戶未提供緊迫性日期的那些。在這種情況下，系統(tǒng)將開始實驗并且將不斷地評價特定時間段是否應(yīng)該用于此實驗。用于系統(tǒng)自動決定是否應(yīng)將特定時間段分配至實驗的一種方法是獲得用于實驗對比MLR的時間段的值。用于計算 MLR的預(yù)測的預(yù)期回報的方法與上文所述相同。用來計算用于實驗的時間段的值的方法是通過獲取實驗(或正在研究的假設(shè))的值并且用該值除以進行研究(使用功效分析)所需的估計時間段數(shù)而得到。當(dāng)考慮進行實驗所需的時間段時，系統(tǒng)將進行此計算(實驗不必要的時間段具有零值)。如果時間段的值大于MLR的預(yù)期回報，則系統(tǒng)將該時間段分配給實驗——否則將時間段分配給MLR。用戶可監(jiān)測實驗的進展，并且如果假設(shè)值開始增加，則用戶可修改該值以提高系統(tǒng)將完成研究的速度。在另一個實施例中，用戶可只指定緊迫性日期并且不指定假設(shè)值。在這種條件下，系統(tǒng)將指定計劃表并且不斷地更新計劃表以在緊迫性日期結(jié)束之前最小化用于進行實驗的成本。本發(fā)明的實施例涉及有利于用戶輸入與用于因果實驗的一個或多個假設(shè)相關(guān)的數(shù)據(jù)以及與一個或多個商業(yè)目的相關(guān)的數(shù)據(jù)的系統(tǒng)和方法。在輸入這些以及其它必要數(shù)據(jù)之后，執(zhí)行本發(fā)明的過程(例如上文參照圖四-33所述的那些)以確保對于播放列表計劃表的每個時間段以及對于顯示器網(wǎng)絡(luò)的每個顯示器，系統(tǒng)將用于最大化網(wǎng)絡(luò)的實用性以實現(xiàn)由用戶的輸入數(shù)據(jù)指示的用戶要求。用戶不必進一步參與到這些過程中，除非需要參與。如果需要，用戶可在任何時間詢問系統(tǒng)以確定網(wǎng)絡(luò)顯示器的狀態(tài)，并且可在各級決策水平這樣做——其中，如果需要，間隔尺寸可低達時間段接時間段的基準(如，TSS接TSS基準)。用戶可對這些過程實施改變，例如通過終止實驗或增加分配至探索和/或開發(fā)程序的時間段的量。如此前所述，可根據(jù)本發(fā)明的實施例來執(zhí)行除因果實驗系統(tǒng)之外的機器學(xué)習(xí)系統(tǒng)。根據(jù)本發(fā)明的實施例，優(yōu)選使用本文所述的類型的數(shù)字標牌網(wǎng)絡(luò)來執(zhí)行機器學(xué)習(xí)系統(tǒng)。 播放列表計劃表的時間段被分配用于根據(jù)特定的機器學(xué)習(xí)程序在DSN網(wǎng)絡(luò)的每個顯示器上顯示各種內(nèi)容。根據(jù)MLR算法來分配內(nèi)容并且采集數(shù)據(jù)，所述MLR算法用于優(yōu)化內(nèi)容分配模式以最大化一個或多個有效性尺度(如，購買點銷售、升級、顧客忠誠度等等)。可執(zhí)行各種MLR系統(tǒng)，包括被構(gòu)造用于執(zhí)行(除了別的以外)強化學(xué)習(xí)程序、邏輯回歸程序、無監(jiān)督學(xué)習(xí)程序、半監(jiān)督程序、轉(zhuǎn)導(dǎo)程序、遺傳算法、支持載體程序、和學(xué)會學(xué)習(xí)程序的那些，以及使用一個或多個神經(jīng)網(wǎng)絡(luò)的那些。根據(jù)各種實施例，MLR可在不存在任何因果實驗的情況下進行。在這些情況下，當(dāng)前可移除因果實驗所需的約束條件。更具體地講，當(dāng)考慮在特定時間段顯示內(nèi)容時，DSN系統(tǒng)不必考慮內(nèi)容是否具有混淆因果實驗的可能性。因此，當(dāng)在不存在因果實驗的情況下運行MLR時，MLR可考慮在其處理之下的所有內(nèi)容(如，探索內(nèi)容、開發(fā)內(nèi)容等等)。根據(jù)本發(fā)明實施例的用于執(zhí)行不包括因果實驗的內(nèi)容優(yōu)化程序的代表性過程包括(例如)示于圖9 的塊92-98中的那些。在不存在因果實驗的情況下使用MLR程序的系統(tǒng)和方法的其它代表性實施例為使用時隙樣本的那些。根據(jù)這些實施例，系統(tǒng)將內(nèi)容分配到由與下述時間相關(guān)的觀察者訪問持續(xù)時間(VVD)定義的TSS，在所述時間顧客可能看到顯示器標牌并且最后對由顯示器顯示的內(nèi)容作出反應(yīng)。用于定義TSS的方法在本文有所描述。對于特定的TSS，MLR在不考慮內(nèi)容是否會混淆因果實驗的情況下選擇內(nèi)容。MRL隨后執(zhí)行(例如)如圖9的塊92-98 中所示的必要算法。
下面的討論主要涉及根據(jù)本發(fā)明的實施例來實施因果實驗的細節(jié)。雖然主要描述因果實驗，但下面討論的多個方面適用于或適合于機器學(xué)習(xí)系統(tǒng)的實施，例如上文所述的實施例。通過介紹，存在兩個主要的研究類別實驗的和非實驗的。本發(fā)明中涉及因果實驗的實施例整體涉及用于進行“真”實驗研究的系統(tǒng)和方法以及這種系統(tǒng)和方法的具有獨立式實用性和有效性的子系統(tǒng)和子過程。然而，雖然發(fā)現(xiàn)本文所述的本發(fā)明的系統(tǒng)和過程當(dāng)用作真實驗的一部分時具有特定有效性，但發(fā)現(xiàn)本文所述的多個系統(tǒng)、過程和方法具有真實驗之外的有效性和價值。例如，可以在準實驗、相關(guān)性研究或其它形式的非實驗研究中執(zhí)行描述為真實驗的一部分的系統(tǒng)和過程的多個方面(如，子系統(tǒng)和子過程)。執(zhí)行本文所述的多個系統(tǒng)方面和方法可顯著提高非真實驗系統(tǒng)和方法的效率和準確度。因此應(yīng)當(dāng)理解，本文所述的過程、方法、系統(tǒng)和裝置不限于僅在真實驗研究環(huán)境內(nèi)使用，但可以有利地在其它形式的研究 (例如，非實驗或準實驗研究和相關(guān)性研究)中使用。通常進行實驗以根據(jù)經(jīng)驗確定在兩個或更多個變量之間是否存在關(guān)系，并且通常以形成斷定在一個或多個自變量與一個或多個因變量之間存在關(guān)系的一個或多個假設(shè)開始。例如，制藥公司的研究人員可設(shè)置患者服用的新藥劑量與患者的血壓有關(guān)的假設(shè)。通過能夠減少或消除混淆變量的效應(yīng)的方式和程度可以區(qū)分多種類型的實驗?；煜兞渴强呻S自變量的水平發(fā)生系統(tǒng)性變化的因子。然而，只有“真實驗”可根據(jù)經(jīng)驗確定因果關(guān)系這就是R)od and Drug Administration (食品和藥物管理局)要求使用“真實驗”從而得到有關(guān)(例如)新藥有效性的數(shù)據(jù)的原因。自變量是實驗期間由實驗員進行定義或操縱的變量，例如對患者施用藥品的量和 /或頻率。因變量是斷定由自變量的值進行預(yù)測的變量(例如，患者的血壓)。實驗員然后進行試驗以確定自變量與因變量之間是否實際上存在關(guān)系，例如在醫(yī)藥實驗中患者接受的藥品的量是否與患者的血壓有關(guān)。混淆變量另外可以影響因變量。雖然這些混淆變量不是實驗中的主要關(guān)注對象， 但它們?nèi)詴绊懸蜃兞坎⑶乙虼耸棺宰兞颗c因變量之間的準確的因果關(guān)系模糊。雖然實驗員試圖理解自變量與因變量之間的因果關(guān)系，但這些混淆變量可使實驗結(jié)果無法解釋?；煜兞恐械囊恍嵗ɑ羯Ｐ?yīng)、順序效應(yīng)、殘留效應(yīng)(例如，位間混淆和位內(nèi)混淆)、需求特性和/或可隨自變量的水平發(fā)生系統(tǒng)性變化的任何其它因子(如例如上述醫(yī)藥實驗中的測試對象的體重)?；煜兞渴沟煤茈y或不可以知道哪個因子(變量)導(dǎo)致任何觀測到的因變量的變化。實驗期間沒有得到恰當(dāng)控制的混淆變量的存在使得很難或不可以對自變量與因變量之間的因果關(guān)系進行統(tǒng)計推論。通過能夠減少或消除混淆變量的效應(yīng)的方式和程度可以區(qū)分多種類型的實驗。可靠反映因果關(guān)系的唯一研究方法是真實驗。術(shù)語“真實驗”表示其中必須存在下面三種特性的實驗1.存在自變量的至少兩個水平。2.樣本隨機分配到自變量的水平。即，實驗中的每一個樣本等幾率分配到自變量的水平。3.存在某種控制或消除混淆的方法。
缺乏以上三種特性中的任何一個的實驗不是真實驗，經(jīng)常稱為準實驗或相關(guān)性設(shè)計。只有真實驗才可以得出有關(guān)自變量與因變量之間的因果關(guān)系的統(tǒng)計推論。準實驗和相關(guān)性設(shè)計可以允許建立自變量與因變量之間的關(guān)系，但不可以確定這些關(guān)系是否是因果關(guān)系。例如，在 Campbell, D. Τ· , & Stanley, J. C. , Experimental and Quasi-Experimental Designs for Research, Rand McNalIy, (1963)中描述了多種類型的實驗設(shè)計(包括真實驗)。在物理環(huán)境中在數(shù)字標牌網(wǎng)絡(luò)的顯示器上遞送內(nèi)容可能充斥在互聯(lián)網(wǎng)領(lǐng)域內(nèi)不存在的混淆。在物理環(huán)境中，雖然人們產(chǎn)生因變量數(shù)據(jù)(如，銷售點或POS日志、滿意度調(diào)查響應(yīng)、傳感器事件)，但很難將因變量數(shù)據(jù)連接到它們可能已經(jīng)向其暴露的自變量的水平 (如，顯示器上的內(nèi)容)。顧客逛商店，有可能注意到也可能沒有注意到顯示器或在這些顯示器上播放的內(nèi)容。此外，當(dāng)顧客位于觀看范圍內(nèi)時，播放的內(nèi)容可以變化，從而使他們暴露于自變量的多個水平。此外，許多其它變量(在或多或少可預(yù)測變量(例如，變化的酒店入住率或季節(jié)的溫度變化)到不可預(yù)測變量(例如，競爭市場營銷促銷和道路建設(shè))的范圍內(nèi))會影響因變量數(shù)據(jù)。物理環(huán)境內(nèi)的兩類混淆存在極其困難的測定相關(guān)的挑戰(zhàn)位間混淆和位內(nèi)混淆， 也稱為位間和位內(nèi)殘留效應(yīng)?？删哂形粌?nèi)和位間殘留效應(yīng)二者。當(dāng)處于一個實驗條件(如， 當(dāng)顯示對照內(nèi)容時)下的觀察者仍然處于不同的實驗條件(如，當(dāng)顯示實驗內(nèi)容時)下時， 出現(xiàn)位內(nèi)殘留效應(yīng)。當(dāng)在一個位置處的觀察者在不同位置處對內(nèi)容進行反應(yīng)時出現(xiàn)位間殘留效應(yīng)。本發(fā)明的實施例涉及下述方法和系統(tǒng)，其用于確定通信內(nèi)容與其在接受者上的有效性之間的因果關(guān)系的存在以及測定所述因果關(guān)系的強度。根據(jù)本發(fā)明的實施例執(zhí)行的方法和系統(tǒng)有利于通信內(nèi)容的分配和所分配的通信內(nèi)容有效性的評價，并且如上文所述有利于內(nèi)容分配模式的自動優(yōu)化以最大化投資回報率或其它預(yù)先確定的商業(yè)目標。本發(fā)明的實施例按照一定方式分配通信內(nèi)容，使得該分配模式能夠測定內(nèi)容有效性。本發(fā)明的實施例對分配通信內(nèi)容的模式(即，定時和位置)進行系統(tǒng)性控制，以便控制和/或消除混淆。通信內(nèi)容可以采取多個形式，包括視覺、聽覺、或可影響人的感官系統(tǒng)(如，人的感官系統(tǒng)的五官感覺，包括觸覺、味覺、嗅覺、視覺和聽覺)或由人的感官系統(tǒng)檢測到的任何形式。通信內(nèi)容可以是靜態(tài)的、動態(tài)的或其組合?？梢酝ㄟ^多種方法分配通信內(nèi)容，這些方法包括(例如)電子方式、光學(xué)方式、音頻廣播、或通過靜態(tài)或動態(tài)圖像的圖形或圖畫方式。通信內(nèi)容可以分配到多種物理環(huán)境并在多種物理環(huán)境內(nèi)分配，包括零售商店、銀行、酒店、機場、公路、鐵路、以及其它公共或私人場所?？梢酝ㄟ^固定或移動結(jié)構(gòu)、裝置和系統(tǒng)呈現(xiàn)通信內(nèi)容。根據(jù)本發(fā)明的實施例，計算機實施系統(tǒng)和方法可以生成時隙樣本，時隙樣本中的每一個被分配了時鐘時間。每一個時隙樣本具有指定的稱為時隙樣本持續(xù)時間的持續(xù)時間 (可以將內(nèi)容分配到其上)以及用于測定分配的內(nèi)容的效應(yīng)的數(shù)據(jù)采集時間。時隙樣本的數(shù)據(jù)采集時間是采集因變量數(shù)據(jù)的時間段。根據(jù)其它實施例，計算機實施系統(tǒng)和方法將多條內(nèi)容分配到時隙樣本，以用于在顯示器上顯示，以測定分配的內(nèi)容條的有效性。本發(fā)明的實施例提供通信內(nèi)容的分配以及評價這些內(nèi)容符合真實驗的約束的有效性。本發(fā)明的實施例涉及提供在計算機的執(zhí)行過程中使用的顯示符合真實驗的約束的通
31信內(nèi)容的規(guī)則。可以基于時間或事件驅(qū)動的規(guī)則優(yōu)選控制或消除(例如)殘留效應(yīng)的混淆。 通信內(nèi)容根據(jù)規(guī)則顯示。采集關(guān)于通信內(nèi)容的有效性的數(shù)據(jù)，并且基于采集的數(shù)據(jù)評價通信內(nèi)容的有效性。本發(fā)明的實施例涉及在算法上在一個或多個顯示器上分配內(nèi)容，使得分配模式滿足真實驗的約束，以用于測定內(nèi)容的效應(yīng)。在通信內(nèi)容分配網(wǎng)絡(luò)(例如數(shù)字標牌網(wǎng)絡(luò)或互聯(lián)網(wǎng))上執(zhí)行真實驗，可以確定通信內(nèi)容與成功的經(jīng)營措施(如，銷售、傳感器事件、調(diào)查數(shù)據(jù)等)之間的因果關(guān)系的存在以及測定該因果關(guān)系的強度。本發(fā)明的實施例采用算法以自動調(diào)度并顯示標牌內(nèi)容，使得內(nèi)容呈現(xiàn)模式精確對應(yīng)于實驗設(shè)計。算法的輸出可以用作對應(yīng)于實驗條件分析因變量數(shù)據(jù)的基礎(chǔ)。雖然數(shù)字標牌網(wǎng)絡(luò)(例如)呈現(xiàn)許多挑戰(zhàn)，但與其它媒體(例如，廣播或有線電視、無線電和印刷)相比，這種網(wǎng)絡(luò)另外提供理想的實驗條件。參照電視和無線電，例如，廣告商不能夠控制哪些電視播放他們的商業(yè)廣告(即，不能夠操縱自變量)，也不能夠測定商業(yè)廣告對產(chǎn)品銷售的直接效應(yīng)(即，不能夠測定自變量對因變量的效應(yīng))。由于大多數(shù)的市場營銷研究方法從這些媒體模型進化而來，所以市場研究員看起來已經(jīng)忽視了執(zhí)行真實驗的可能性。作為另一個實例，數(shù)字標牌網(wǎng)絡(luò)可以精確調(diào)度廣告內(nèi)容(即，可以精確操縱自變量)。另外，因為顯示器通常靠近產(chǎn)品或者說是位于可測定行為變化的環(huán)境中，所以可以測定由內(nèi)容引起的行為變化(即，可以測定自變量對因變量的效應(yīng))。另外，通常已經(jīng)以在實驗內(nèi)可易于采用的形式采集了用于針對目標評價成功的數(shù)據(jù)。根據(jù)本發(fā)明的方法，自變量優(yōu)選是數(shù)字標牌內(nèi)容，因變量可以是具有商業(yè)含義 (如，銷售數(shù)據(jù)、傳感器數(shù)據(jù)、調(diào)查數(shù)據(jù))的任何措施。使用本發(fā)明的系統(tǒng)和方法，可以系統(tǒng)性控制數(shù)字標牌內(nèi)容分配在整個數(shù)字標牌網(wǎng)絡(luò)上的模式(即，定時和位置)，以控制和消除混淆。在本發(fā)明的多種實施例的上下文中，自變量對應(yīng)于內(nèi)容的性質(zhì)(例如，策略消息或甚至類似主要色彩或使用拍攝圖像的執(zhí)行性元素)。通常存在至少兩個水平的自變量 兩者均為實驗內(nèi)容或者一個水平是實驗并且一個為對照內(nèi)容。實驗內(nèi)容是假設(shè)對因變量產(chǎn)生影響的內(nèi)容(模擬臨床藥品實驗中進行測試的藥品)。對照內(nèi)容是不期待影響因變量的任何內(nèi)容(模擬臨床藥品實驗中的安慰劑藥丸)。操縱自變量涉及分配在不同時間和不同地點在標牌上待顯示的實驗內(nèi)容或?qū)φ諆?nèi)容。不同水平的自變量被隨機(基于約束，如下所述)分配到不同的標牌和不同的位置。因變量可以是斷定受內(nèi)容影響的任何變量(如， 銷售數(shù)據(jù)、測定預(yù)購買行為的傳感器數(shù)據(jù))。如上所述，混淆變量可以影響因變量，因此使自變量與因變量之間準確的因果關(guān)系模糊不清。如果實驗是雙盲的(例如)，并且給定適當(dāng)?shù)碾S機化，則僅存在兩類可能的混淆；上述殘留效應(yīng)(如，位間和位內(nèi)混淆)、以及內(nèi)容混淆。當(dāng)在正在測定因變量的測定的同一時隙內(nèi)針對相同因變量播放不止一個版本的實驗內(nèi)容時，出現(xiàn)內(nèi)容混淆。這種情況使得無法知道哪個內(nèi)容成為任何觀察到的因變量中的變化的基礎(chǔ)。通過確保在給定時隙內(nèi)僅僅呈現(xiàn)實驗內(nèi)容和/或?qū)φ諆?nèi)容，可以消除這些類型的混淆。如前所述，當(dāng)觀察者在與實驗條件對應(yīng)的一個時隙內(nèi)觀看內(nèi)容而在與不同的實驗條件相關(guān)的時隙內(nèi)對該內(nèi)容作出反應(yīng)時，出現(xiàn)殘留效應(yīng)。再次，這種情況使得無法知道哪個內(nèi)容成為任何觀察到的因變量中的變化的基礎(chǔ)。當(dāng)處于一個實驗條件(如，當(dāng)顯示對照內(nèi)容時)下的觀察者仍然處于不同的實驗條件(如，當(dāng)顯示實驗內(nèi)容時)下時，出現(xiàn)位內(nèi)殘留效應(yīng)。通過確保可將內(nèi)容分配到其上的時隙樣本足夠長以確保在時隙樣本中的一些(如， 時隙樣本的二分之一)期間出現(xiàn)在觀看位置處的絕大多數(shù)觀察者(如，95% )不會處于此前的時隙樣本期間，可以控制位內(nèi)混淆。在這種情況下，優(yōu)選僅僅在處于此前時隙樣本期間的絕大多數(shù)觀察者離開該位置的時隙樣本的部分期間記錄數(shù)據(jù)。替代方法涉及使用在時隙樣本期間記錄的大多數(shù)或所有數(shù)據(jù)，但與時隙樣本的開始部分相比，向時隙樣本的結(jié)束部分更加加重數(shù)據(jù)的權(quán)重。此外，通過反向平衡呈現(xiàn)內(nèi)容的順序(如，確保在整個實驗中，內(nèi)容B跟隨內(nèi)容A的頻率與內(nèi)容A跟隨內(nèi)容B的頻率相同)， 可以消除任何仍然存在的位內(nèi)殘留效應(yīng)(如，從可能已經(jīng)感受兩個版本的測試內(nèi)容的5% 或更少的顧客產(chǎn)生的位內(nèi)殘留效應(yīng))。當(dāng)在一個位置處的觀察者在不同位置處對內(nèi)容進行反應(yīng)時出現(xiàn)位間殘留效應(yīng)。通過以下方法可以消除位間殘留效應(yīng)確保位于彼此似乎合理的移動距離內(nèi)的位置受到播放內(nèi)容的約束，使得無法在一個實驗條件有效時離開一個位置，并在另一個實驗內(nèi)容有效時到達附近位置，并以影響因變量的方式作出反應(yīng)。可由于不同原因而采用兩類分塊；通過優(yōu)化因子分塊和通過噪聲變量分塊。優(yōu)化因子是在標牌位置處可以對內(nèi)容的有效性產(chǎn)生暗示的那些因子。這種因子包括標牌位置、 環(huán)境光照度、觀察者的社會經(jīng)濟地位、時段等等?；谶@些因子的分塊可以進行因數(shù)分析， 以測定內(nèi)容與優(yōu)化因子之間的交互作用(如，測定內(nèi)容A是否在上午更有效，而內(nèi)容B是否在傍晚更有效)。通過消除與會影響可預(yù)測但并非相對于實驗所關(guān)注的因變量的因子相關(guān)的變化性，基于噪聲變量的分塊可用于增加統(tǒng)計功效。下文提供涉及以符合真實驗的約束的方式分配通信內(nèi)容以及評價這種內(nèi)容的有效性的代表性實例。這些實例僅僅是為了進行示意性的說明而提供的，并非限制本發(fā)明所公開的原理的范圍或應(yīng)用。相反，可以設(shè)想大量的多種媒體以及通信分配架構(gòu)和方法，包括涉及印刷媒體、蜂窩或無線通信裝置、包括固定裝置和便攜式(如，手持式)裝置的互聯(lián)網(wǎng)訪問的內(nèi)容和裝置、店內(nèi)和戶外(如，電子廣告牌)顯示系統(tǒng)的那些媒體以及通信分配架構(gòu)和方法。另外可以設(shè)想能夠通過這些架構(gòu)和裝置進行通信的大量的多種內(nèi)容，包括(例如) 廣告內(nèi)容、教導(dǎo)內(nèi)容和尋路內(nèi)容。雖然本文所述的自動化實驗設(shè)計方法總體集中在數(shù)字標牌應(yīng)用上，但應(yīng)當(dāng)理解， 除了別的以外，這種方法可以應(yīng)用于許多市場營銷通信策略，包括網(wǎng)頁設(shè)計、互聯(lián)網(wǎng)廣告、 購買點印刷市場營銷、以及直銷。例如，可根據(jù)本發(fā)明修改互聯(lián)網(wǎng)分析方法或基于網(wǎng)絡(luò)的自動化實驗系統(tǒng)(例如，在美國專利No. 6，934，748和No. 7，130，808中公開的系統(tǒng)，該專利以引用方式并入本文中)，從而執(zhí)行真實驗設(shè)計或具有真實驗的約束的子過程。本發(fā)明的方面可以并入沒有涉及以實驗方式測定分配的內(nèi)容的效應(yīng)、但涉及基于 (例如)履行合同義務(wù)的其它約束分配內(nèi)容的自動化內(nèi)容分配系統(tǒng)和方法中。在美國專利公布No. 2006/0287913中公開了這種系統(tǒng)和方法的實例，該專利以引用方式并入本文中。 在這種系統(tǒng)和方法中，在根據(jù)本發(fā)明測定分配的內(nèi)容的有效性的同時，可以執(zhí)行內(nèi)容分配。系統(tǒng)和方法的以下非限制性實例示出了本發(fā)明的多種實施例。實例中的一些涉及方便符合真實驗的約束測定通信內(nèi)容的有效性的系統(tǒng)和算法。實例中的一些涉及方便控制分配通信內(nèi)容的模式以便控制和消除(或顯著減少)混淆的系統(tǒng)和算法。實例中的一些涉及可以執(zhí)行以方便(例如)準實驗分析和相關(guān)性研究中的內(nèi)容有效性的非實驗分析的系統(tǒng)和算法。本發(fā)明的多種實施例可以對應(yīng)于實驗條件自動分析因變量數(shù)據(jù)。圖34A示出了涉及符合真實驗的約束的顯示通信內(nèi)容的規(guī)則中的第310條的實施例。在一些實施例中，這些規(guī)則中的第310條涉及符合真實驗的約束建立這種規(guī)則。在其它實施例中，建立的規(guī)則提供給符合真實驗的約束的顯示通信內(nèi)容的系統(tǒng)。如圖34A中進一步所示，根據(jù)規(guī)則顯示通信內(nèi)容(312)。采集有關(guān)通信內(nèi)容的有效性的數(shù)據(jù)(314)，并且基于采集的數(shù)據(jù)評價通信內(nèi)容的有效性(316)。圖34B示出了更具體地涉及數(shù)字標牌內(nèi)容的自動化調(diào)度和顯示的實施例。根據(jù)圖 34B，提供符合真實驗的約束的顯示通信內(nèi)容的播放列表和計劃表(311)。播放列表是指各條內(nèi)容的順序，并且計劃表指示(例如)由播放列表定義的那些內(nèi)容條的回放。在一些實施例中，播放列表和計劃表的第311條涉及符合真實驗的約束建立播放列表和計劃表。在其它實施例中，此前建立的播放列表和計劃表提供給可以符合真實驗的約束的顯示通信內(nèi)容的系統(tǒng)。在整個數(shù)字標牌系統(tǒng)上分配通信內(nèi)容(313)。根據(jù)播放列表和計劃表在數(shù)字標牌系統(tǒng)的顯示器上顯示通信內(nèi)容(315)。采集有關(guān)通信內(nèi)容的有效性的數(shù)據(jù)(317)，并且基于采集的數(shù)據(jù)評價通信內(nèi)容的有效性(319)。應(yīng)當(dāng)理解，可使用一個或多個處理裝置(如，PC機、微型計算機、網(wǎng)絡(luò)處理器、網(wǎng)絡(luò)服務(wù)器等等)來執(zhí)行圖34A-34B中以及本公開的其它圖中所示的一個、一些、或所有過程。 例如，第一處理器或處理器組可以用于播放列表和計劃表的建立過程中。第二處理器或處理器組可以用于在一個位置處或在整個數(shù)字標牌系統(tǒng)上分配內(nèi)容。第三處理器可以用于根據(jù)播放列表和計劃表顯示內(nèi)容，而第四處理器可以用于采集有關(guān)內(nèi)容有效性的數(shù)據(jù)。第五處理器可以用于基于采集的數(shù)據(jù)評價內(nèi)容的有效性。在一些實施例中，可通過一個或多個可組網(wǎng)的處理器來執(zhí)行本文所述的這些過程以及其它過程(如，與機器學(xué)習(xí)系統(tǒng)相關(guān)的那些)以便在一些或所有這些處理器之間進行通信。在其它實施例中，通過沒有組網(wǎng)而以其它方式鏈接以在兩者間進行通信的處理器可以執(zhí)行這種過程中的一些或每一個。例如，第一處理器可以被構(gòu)造用于執(zhí)行一組程序指令以實現(xiàn)播放列表和計劃表的建立，而第二處理器可以被構(gòu)造用于執(zhí)行一組程序指令以用于將內(nèi)容分配到一個或多個顯示裝置。除非另外指明，本文和權(quán)利要求書中所用的術(shù)語處理器、計算機、或模塊(及它們的變型形式)設(shè)想為單個處理器、一些或全部均可進行通信耦合的多個處理器、未通信耦合在一起的不同處理器(子網(wǎng)中的單個處理器)、以及處理資源的其它配置。圖35和圖36A-36B示出了根據(jù)本發(fā)明實施例的與符合真實驗的約束在算法上調(diào)度并顯示通信內(nèi)容相關(guān)的過程。圖35示出了根據(jù)本發(fā)明實施例的涉及與在算法上調(diào)度并顯示通信內(nèi)容結(jié)合的網(wǎng)絡(luò)建立和數(shù)據(jù)采集的多種過程。根據(jù)圖35所示的示例性實例，建立數(shù)字標牌網(wǎng)絡(luò)涉及確定有利于控制、減少、或消除(例如)殘留效應(yīng)的混淆的顯示位置。例如，建立該網(wǎng)絡(luò)可以涉及確定至少預(yù)定百分比(如，95%)的顧客不會訪問顯示實驗內(nèi)容或?qū)φ諆?nèi)容的另一個位置的位置(330)。選擇95%的值并非關(guān)鍵所在。然而應(yīng)當(dāng)理解，所選的值越大，結(jié)果低估該內(nèi)容的投資回報的精確量的可能性越低。95%的值只是足夠大，從而基于適當(dāng)反向平衡，殘留效應(yīng)的影響將幾乎不存在。重要的是，確保絕大多數(shù)的觀察者沒有機會在一個部位處看見消息而在顯示不同對照內(nèi)容或?qū)嶒瀮?nèi)容的另一個部位處對該消息作出反應(yīng)。這種情況的情形將是殘留效應(yīng)情形，這會混淆實驗結(jié)果。例如，如果人們在汽車經(jīng)銷商的顯示器上進行實驗，則該人需要知道在附近哪些經(jīng)銷商彼此足夠靠近，使得觀察者可在一個經(jīng)銷商處看見內(nèi)容而在參與實驗的另一個經(jīng)銷商處購買車輛。這可作為數(shù)字標牌網(wǎng)絡(luò)建立的一部分而實現(xiàn)。例如，軟件可提示安裝人員選擇觀察者在離開其經(jīng)銷商以后可真正訪問的整個網(wǎng)絡(luò)上的所有位置(如， 同一地理區(qū)域中的其它經(jīng)銷商)。作為數(shù)字標牌網(wǎng)絡(luò)建立的一部分，優(yōu)選識別在標牌位置處顯示的網(wǎng)絡(luò)屬性和優(yōu)化因子(332)。這種因子可以包括預(yù)測影響在標牌位置處的因變量的值的每一個場所的特性 (如，商店大小、社會經(jīng)濟類別、其它廣告效果、在標牌位置處的觀察者的通常數(shù)目的時段差別)。這些因子然后變成實驗中的塊因子。存在兩種塊因子。一種包括實驗將測試交互作用并且將暗示關(guān)于顯示哪個內(nèi)容的戰(zhàn)略決策(如，在社會經(jīng)濟地位(SES)低的經(jīng)銷商處內(nèi)容A可能更有效，而在SES高的經(jīng)銷商處內(nèi)容B可能更有效)的因子。另一種塊因子是沒有明顯暗示顯示哪個內(nèi)容、但無論如何應(yīng)當(dāng)被分塊以便增加實驗的統(tǒng)計功效的因子。此外，這些因子可在軟件安裝期間指定并且可在以后更新。網(wǎng)絡(luò)建立另外包括估計實驗的樣本大小要求(334)。理想的是，優(yōu)選使用統(tǒng)計功效分析，以計算找到商業(yè)關(guān)注的至少某一最小量級的統(tǒng)計顯著性結(jié)果需要多少數(shù)據(jù)。作為網(wǎng)絡(luò)建立的一部分，定義對照內(nèi)容和實驗內(nèi)容(336)。對照內(nèi)容(S卩，安慰劑) 可以是既不預(yù)期也不可能影響所需的行為的任何消息(例如，當(dāng)?shù)靥鞖饣蛐侣?、或關(guān)于與因變量無關(guān)的產(chǎn)品或服務(wù)的消息。實驗內(nèi)容是假設(shè)導(dǎo)致因變量發(fā)生變化的內(nèi)容。應(yīng)當(dāng)注意， 在一些情形下，用于一個假設(shè)的實驗內(nèi)容可起到用于不同假設(shè)的對照內(nèi)容的作用。采集有關(guān)絕大多數(shù)觀察者進行他們商業(yè)活動在該場所花費的最長持續(xù)時間的數(shù)據(jù)并且用于控制殘留效應(yīng)(338)。用于消除或控制位置殘留效應(yīng)的過程的實例描述于2008 年7月2日提交的共同擁有的美國專利申請序列號12/166，984中，該專利申請以引用方式并入本文中。圖36A示出了根據(jù)本發(fā)明實施例的與分配通信內(nèi)容并且評價這種內(nèi)容的有效性有關(guān)的控制(如，減小或消除)位置殘留效應(yīng)的過程。圖36A示出了如果95%的顧客在標牌位置處花費的最長持續(xù)時間是30分鐘的情況下如何控制位內(nèi)殘留效應(yīng)。在該示例性實例中，期間播放內(nèi)容的時隙樣本(32 和(324)是95%的顧客在該位置處花費的最長持續(xù)時間的兩倍。直到處于此前時隙樣本期間的95%的顧客已經(jīng)離開標牌位置，才開始記錄數(shù)據(jù)。 在該實例中，在時隙樣本(32 和(324)的最后30分鐘部分(32 和(32 期間才記錄數(shù)據(jù)。注意用于每一個位置的時間間隔優(yōu)選由可測定因變量數(shù)據(jù)的整個最小時間單位表示。例如，在一些銷售點系統(tǒng)中采集的銷售數(shù)據(jù)以秒為單位提供，而其它系統(tǒng)僅僅以整個小時為單位報告銷售。圖36B示出了根據(jù)本發(fā)明其它實施例的與分配通信內(nèi)容并且評價這種
35內(nèi)容的有效性有關(guān)的控制位置殘留效應(yīng)的過程。圖37示出了根據(jù)本發(fā)明實施例的符合真實驗的約束在算法上調(diào)度并顯示通信內(nèi)容的過程。圖37所示的過程示出了本發(fā)明的實驗設(shè)計和執(zhí)行過程的多個行動。圖37旨在示出綜合系統(tǒng)，它包括許多特征，這些特征方便調(diào)度并顯示符合真實驗的約束的通信內(nèi)容。 應(yīng)當(dāng)理解，圖37所示的所有特征不必并入本發(fā)明的系統(tǒng)和方法中。圖37所示的所選特征可以應(yīng)用于獨立式應(yīng)用中，或可以與其它特征結(jié)合，從而得到根據(jù)本發(fā)明的實施例的有用的系統(tǒng)和方法。圖38A-39B(例如)示出了圖7所示的特征的多種可用的組合?？梢栽诜菍嶒炏到y(tǒng)(例如，準實驗系統(tǒng)和采用相關(guān)性分析或回歸分析或人工神經(jīng)網(wǎng)絡(luò)的那些系統(tǒng)) 中實現(xiàn)圖37所示的特征的許多組合。除了別的以外，圖37_39B(以及與上論各種機器學(xué)習(xí)實施例相關(guān)的圖)中所示的多個過程具有通常從其它過程、系統(tǒng)(如，POS系統(tǒng))、傳感器(如，在場傳感器)、或從用戶接收的輸入。這些輸入包括下述用于對有效性進行測試的每條內(nèi)容的持續(xù)時間數(shù)據(jù) (CD)；所關(guān)注的持續(xù)時間(DI)，在其之后如果內(nèi)容導(dǎo)致正在測定的行為數(shù)據(jù)或交易數(shù)據(jù)發(fā)生變化則該內(nèi)容被視為不是關(guān)注的內(nèi)容。成對內(nèi)容關(guān)聯(lián)性數(shù)據(jù)(CR) (S卩，期望內(nèi)容A與內(nèi)容 B以不同方式影響相同的行為數(shù)據(jù)或交易數(shù)據(jù)嗎？)；成對位置關(guān)聯(lián)性(LR)(即，觀察者可在位置A處感受內(nèi)容并且在位置B處于上述規(guī)定的所關(guān)注持續(xù)時間內(nèi)作出反應(yīng)的可能性)； 顯示在標牌位置的優(yōu)化因子(OF)；通過優(yōu)化因子估計的樣本大小要求(SS)，其可為任選的，以用于針對每條內(nèi)容需要多少時隙樣本；目標觀察者的特定百分比(如，95%)在顯示器所處的場所花費的最長持續(xù)時間(觀察者訪問持續(xù)時間或VVD)；用于目標觀察者在其訪問所述場所期間可影響的所關(guān)注數(shù)據(jù)流的數(shù)據(jù)采集/集合的時間間隔(Tl)；塊因子(即， 用于優(yōu)化內(nèi)容的最大功效因子，其預(yù)測因變量數(shù)據(jù)而非自身受關(guān)注)；絕對安慰劑內(nèi)容；以及實驗內(nèi)容。觀察者訪問持續(xù)時間是一個重要參數(shù)，它代表指定百分比的觀察者在某個位置處花費的最長時間。通常，基于許多觀察者的各個VVD計算VVD，應(yīng)當(dāng)理解，各個VVD的分配取決于影響各個人在某個位置處花費的時間的大量的因子。VVD的精度取決于場所的大小。 小場所(如，小商店)可以提供用于在幾分鐘內(nèi)觀看內(nèi)容然后對內(nèi)容作出反應(yīng)的良好限定的機會?？梢酝ㄟ^多種方法確定觀察者訪問持續(xù)時間，例如基于期待的VVD估計VVD。確定 VVD可以基于一個或多個因子，例如交易數(shù)據(jù)、先前銷售數(shù)據(jù)、傳感器數(shù)據(jù)(如，鄰近或在場傳感器數(shù)據(jù))和觀察數(shù)據(jù)。在下文提供的示例性實例中討論用于確定VVD的其它方法。應(yīng)當(dāng)理解，雖然一些“觀察者”從來不會看到(或理解)顯示的內(nèi)容，但仍會購買廣告的貨物(歸納到測定的行為)。有些觀察者看到內(nèi)容但不購買廣告的貨物，有些觀察者看到并購買廣告的貨物。就這一點而言，本發(fā)明的方法涉及隨顯示的內(nèi)容的變化(實驗內(nèi)容對比對照內(nèi)容)反映測定的行為之間的差別。應(yīng)當(dāng)注意，進行測定的這種行為差別另外隨顯示位置而變(如，在偏僻角落中，很少有人能看到，而在醒目位置，所有人都能看到)。如果很少人或沒有人看到顯示器，則最引人注目的內(nèi)容(今天平板電視機免費?。?！)對于測定的行為(得到免費電視機)實質(zhì)上不會產(chǎn)生任何差別。位置是重要條件，它是指物理空間，在該物理空間內(nèi)，觀察者既可感受因變量的水平(如，以數(shù)字標牌內(nèi)容的形式)、又可導(dǎo)致與自變量相對應(yīng)的因變量數(shù)據(jù)發(fā)生變化(因變量數(shù)據(jù)經(jīng)常由銷售點或傳感器數(shù)據(jù)組成)。通常，零售環(huán)境中的位置是零售商擁有的物理空間。然而，存在位置是零售商擁有的空間的一部分的一些情況。例如，考慮在登記臺附近具有顯示器(即，在該位置正通過實驗測試設(shè)計用于增加客人升級到非標準房間的可能性的兩條數(shù)字標牌內(nèi)容的相對有效性)的酒店大堂的情況。在這種情況下，由于觀察者僅僅可在酒店大堂內(nèi)感受內(nèi)容，并且除了觀察者在第一次訪問酒店大堂過程內(nèi)升級到非標準房間以外觀察者不太可能以后再升級到非標準房間，所以該位置是酒店大堂區(qū)域(而非整個酒店)。同樣，在該受控的物理空間內(nèi)可以獲得精確的VVD。例如，在具有單個戶外顯示器和多個零售商業(yè)機構(gòu)的城市里測定顧客行為(如， 通過購買在城市的單個戶外顯示器上呈現(xiàn)的廣告產(chǎn)品)的情況下，VVD變得更不精確。購物中心環(huán)境通常落在允許精確VVD的受控位置與上述示例性城市場景之間的某處。通過對比，應(yīng)當(dāng)注意，最受控的情況是由坐在計算機顯示器旁邊并通過點擊鼠標和/或敲擊鍵盤響應(yīng)內(nèi)容(即，對內(nèi)容作出行為反應(yīng))的人員代表的位置。如此前所述，當(dāng)自變量的一個水平的效應(yīng)持續(xù)時嘗試測定同一自變量的另一個水平的效應(yīng)時，出現(xiàn)殘留效應(yīng)。由本發(fā)明的實施例提供的控制或消除殘留效應(yīng)的解決方案是 確保在如下兩個事件之間經(jīng)過了足夠的時間(1)改變自變量的水平；與( 在改變自變量的水平以后采集數(shù)據(jù)。確保在數(shù)字標牌內(nèi)容的環(huán)境中消除殘留效應(yīng)的一種方法是在自變量的水平變化之間等待很長時間，和/或在改變自變量的水平與采集因變量數(shù)據(jù)之間等待很長時間。例如，可在一個星期僅顯示自變量的一個水平或一次顯示更多水平。然后，通過在整個星期內(nèi)采集數(shù)據(jù)，在該星期內(nèi)采集的數(shù)據(jù)點中的多個將不會受到自變量的不同水平(如，在該實例中，“省錢”)的影響。然而，這種方法嚴重限制了在自變量的水平可被改變的整個時間內(nèi)的實例的數(shù)目。本領(lǐng)域技術(shù)人員將會知道，可從實驗產(chǎn)生結(jié)論的速度與可操縱的自變量的整個時間內(nèi)的實例的數(shù)目直接有關(guān)。本發(fā)明的實施例有利地提供了將VVD和TI用作輸入，以確定自變量的水平的變化頻率，因此使人們能夠在盡可能頻繁地改變自變量水平時控制或消除殘留效應(yīng)。再次參見圖37，將計劃表解析成時隙樣本(340)。分析計劃表對于消除殘留效應(yīng)是非常重要的。分析通常涉及在算法上分析計劃表，使得時隙樣本可分配到指示內(nèi)容的回放的計劃表。建立播放列表涉及在算法上將內(nèi)容分配到時隙樣本，使得內(nèi)容分配模式(即，播放內(nèi)容的定時和位置)滿足實驗的約束(342)。例如，可以通過以下步驟完成這項工作確保實驗內(nèi)容和對照內(nèi)容不混淆(345)；在確?；诰W(wǎng)絡(luò)優(yōu)化因子(即，正在進行研究的因子)的分塊的特定約束的條件下，將內(nèi)容隨機分配到時隙樣本(346)；通過可控制和預(yù)測但并非研究中所關(guān)注的其它因子(即，噪聲因子)進行分塊(347)；反向平衡順序效應(yīng)(348)； 對全部非對照的因子進行隨機化處理(349)；確保平衡設(shè)計，使得在整個塊上存在大致相同數(shù)目的時隙樣本(350)；以及滿足建立的樣本大小要求(344)。根據(jù)播放列表計劃表分配內(nèi)容(35 。理想的是，該過程和相關(guān)算法嵌入在內(nèi)容管理軟件內(nèi)(352)，從而內(nèi)容可根據(jù)建立的播放列表計劃表進行自動分配。優(yōu)選產(chǎn)生上述算法過程的報告(3M)。該報告優(yōu)選識別呈現(xiàn)什么內(nèi)容以及何時何地呈現(xiàn)該內(nèi)容。該報告另外可以表明對什么因變量數(shù)據(jù)進行編碼以及存在或使用任何優(yōu)化、噪聲和塊因子。有關(guān)影響算法的過程或性能的其它數(shù)據(jù)另外可以包括在生成的報告上。應(yīng)當(dāng)理解，記錄這些和其它數(shù)據(jù)/信息，從而可以生成算法過程的報告。該報告優(yōu)選指定在每一個時隙樣本內(nèi)對哪個因變量進行編碼，以及由于由殘留效應(yīng)或其它混淆導(dǎo)致的可能的污染而使用或丟棄哪個因變量數(shù)據(jù)?？梢愿鶕?jù)實驗條件使用產(chǎn)生的報告的數(shù)據(jù)解析因變量測定(355)。例如，因變量數(shù)據(jù)(如，POS銷售數(shù)據(jù))優(yōu)選進行時間和位置標注，使得可根據(jù)實驗條件自動解析該數(shù)據(jù)以用于分析(和/或由機器學(xué)習(xí)系統(tǒng)使用，所述機器學(xué)習(xí)系統(tǒng)例如在上文所述的那些)。圖38A示出了根據(jù)本發(fā)明實施例的涉及生成時隙樣本的多種過程。根據(jù)圖38A，接收目標觀察者在顯示器所處場所正?；ㄙM的觀察者訪問持續(xù)時間(353)。接收在訪問該場所期間目標觀察者可影響的所關(guān)注數(shù)據(jù)流的數(shù)據(jù)采集或集合的時間間隔(357)。使用觀察者訪問持續(xù)時間和時間間隔，確定要測定分配到時隙樣本的內(nèi)容的效應(yīng)所需的時隙樣本的數(shù)目，并且確定與時隙樣本中的每一個相關(guān)的數(shù)據(jù)采集時間(359)。如圖38A所示的過程舉例，本發(fā)明的實施例產(chǎn)生可對其分配內(nèi)容以用于測定分配的內(nèi)容的效應(yīng)的“樣本”(本文中稱為時隙樣本)。這些“樣本”以及產(chǎn)生這種樣本的方法具有顯著價值，并且表示可由這些樣本的購買者用于測試內(nèi)容的有效性的最終產(chǎn)品。圖38B示出了根據(jù)本發(fā)明實施例的涉及將內(nèi)容分配到時隙樣本的多種過程。根據(jù)圖38B，接收相對于其它條內(nèi)容將每一條內(nèi)容識別為實驗內(nèi)容條或?qū)φ諆?nèi)容條的內(nèi)容關(guān)聯(lián)性數(shù)據(jù)(361)。圖38B的過程還涉及在算法上使用內(nèi)容關(guān)聯(lián)性數(shù)據(jù)將實驗內(nèi)容條或?qū)φ諆?nèi)容條分配到時隙樣本(363)。分配到特定時隙樣本的內(nèi)容條相對于此前分配到該特定時隙樣本的實驗內(nèi)容條不包括不相同的實驗內(nèi)容條。在一種意義上，圖38B所示的過程描述了可用于提高對內(nèi)容的有效性進行實驗的速度和準確性的技術(shù)或工具(如，軟件)。根據(jù)圖38B實現(xiàn)的技術(shù)或工具代表有價值的最終產(chǎn)品，該最終產(chǎn)品向希望對內(nèi)容的有效性進行實驗的人提供實用性。以此類推，在生物研究領(lǐng)域的環(huán)境中，開發(fā)了工具并用于增加(例如)對癌細胞進行實驗的速度和準確性以及降低進行這種實驗的成本。例如，已經(jīng)開發(fā)出基因測序工具以自動控制基因測序的步驟。以相似方式，根據(jù)圖38B實現(xiàn)的工具和技術(shù)可以用于提高對內(nèi)容有效性進行實驗的速度和準確性以及降低進行這種實驗的成本。圖38C示出了根據(jù)本發(fā)明實施例的可以用于使用完整的隨機化過程將計劃表解析成時隙樣本的算法的實施例。根據(jù)圖38C，識別并量化用于每一個顯示位置的時間間隔 (Tl)的持續(xù)時間(362)。確定用于每一個位置的觀察者訪問持續(xù)時間(VVD) (364)。如此前討論的，TI表示可測定因變量數(shù)據(jù)的最小時間單位，VVD為預(yù)定百分比(如，95% )的觀察者在任何一次訪問期間在該位置花費的最長時間量。針對每一個顯示位置確定時隙樣本持續(xù)時間(TSSD) (366)。時隙樣本持續(xù)時間是時隙樣本持續(xù)的特定持續(xù)時間。在TSSD期間，優(yōu)選以不存在將產(chǎn)生混淆的重疊的方式播放不同的實驗內(nèi)容和對照內(nèi)容。根據(jù)一種方法，以及如圖38C的塊(368)、塊(370)和塊(372) 所指出的那樣，可以如下計算時隙樣本持續(xù)時間TI ^ VVD如果否，則 TSSD = VVD*2
如果是，則TSSD = TI+VVD [1]應(yīng)當(dāng)注意，如果在上式[1]中TI不等于或大于VVD (如，TI為1秒)，則在時隙樣本持續(xù)時間的二分之一長度內(nèi)，將會出現(xiàn)沒有看見此前時隙樣本的內(nèi)容的觀察者。重要的是，僅僅在該第二個一半(即，在該實例中，TSSD的數(shù)據(jù)采集時間)內(nèi)采集的數(shù)據(jù)被包括在分析中，并且結(jié)合反向平衡，這消除殘留效應(yīng)。接著進行隨機化過程，對時間間隔進行隨機選擇(376)。該算法隨機選擇于特定位置的開放時間以后的該位置的TSSD中的至少一個開始的任何“開放”時間間隔。此上下文中的術(shù)語“開放”時間間隔是指還沒有已與之相關(guān)的時隙樣本的時間間隔。分配時隙樣本，以在隨機選擇的TI開始之前開始該位置的一個TSSD(377)。該過程(376)、(377)和(378) —直持續(xù)到?jīng)]有合法TI以分配TSS。應(yīng)當(dāng)注意，根據(jù)以下約束選擇時隙樣本不包括由此前選擇的時隙樣本所包含的時隙樣本(如，如果內(nèi)容已經(jīng)在 9:01-9:20進行了播放，則系統(tǒng)不會選擇9 01-9 20作為候選時隙)。圖38D示出了根據(jù)本發(fā)明實施例的可以用于將計劃表解析成順序產(chǎn)生的時隙樣本的算法的實施例。圖38D的過程(362)-(372)與圖38C的對應(yīng)過程相同。圖38C的過程 (376)、(377)和(378)示出了完整的隨機時隙樣本生成方法。圖38D的過程(383)、(373)、 (375)、(379)和(381)示出了順序時隙樣本生成方法。根據(jù)圖38D的順序時隙樣本生成方法，對每一個位置建立時隙樣本(374)涉及選擇要呈現(xiàn)內(nèi)容的位置(383)。找到與該位置的開放時間相距TSSD的第一 TI的開始(373)。 分配TSS以在該TI開始之前開始一個TSSD (375)。對于與前一個TSSD的結(jié)束相距TSSD的最近的TI重復(fù)該過程(373)和(375) (379)，直到到達關(guān)閉時間(381)。對于每一個選擇的位置(38 重復(fù)該TSS建立過程(374)。以如圖38D所示的順序方式生成時隙樣本，通常導(dǎo)致實現(xiàn)較高的TI利用效率。迅速產(chǎn)生評價內(nèi)容有效性所需的結(jié)果的另一種方法是能夠使用網(wǎng)絡(luò)上的每一個均具有能夠示出內(nèi)容的顯示器的多個位置。每一個位置可產(chǎn)生實現(xiàn)用于驗證假設(shè)的數(shù)據(jù)量所需的時隙樣本。通常，數(shù)據(jù)產(chǎn)生率與位置的數(shù)目成比例，如，音樂會中同時工作的十個位置可產(chǎn)生的樣本量大約是單個位置的10倍。該布置導(dǎo)致增加獲知內(nèi)容有效性與顯示位置之間的交互作用的可能性。假定與不同的自變量相關(guān)的內(nèi)容是不相關(guān)的，本專利申請中所公開的方法另外可以在相同的時隙樣本期間同時測試多個自變量。這是因為一個自變量的實驗內(nèi)容可以是另一個自變量的對照內(nèi)容。使用該技術(shù)還增加實驗的速度，因為可以針對多個商業(yè)目的同時進行實驗，因此釋放了顯示時間以實現(xiàn)商業(yè)目標。圖38E示出了根據(jù)本發(fā)明實施例的可以用于建立實驗設(shè)計播放列表的算法的過程。圖38E所示的算法涉及確保實驗內(nèi)容與對照內(nèi)容不會混淆(382)。根據(jù)圖38E所示的方法，每一條實驗內(nèi)容隨機分配到時隙樣本。該過程確保相對于對因變量的影響彼此進行比較的兩條內(nèi)容絕不會在相同時隙樣本內(nèi)播放?；趦H僅對照內(nèi)容分配到與任何條實驗內(nèi)容相同的時隙樣本的約束，重復(fù)隨機分配的過程。這確保不存在位置混淆。應(yīng)當(dāng)注意，假定一個假設(shè)的實驗內(nèi)容可用作其它假設(shè)的實驗內(nèi)容的對照，可以將一個假設(shè)的實驗內(nèi)容分配到已經(jīng)包含另一個假設(shè)的實驗內(nèi)容的時隙樣本。即，可同時運行兩個實驗，前提條件是假設(shè)為正交的(并且此外可運行如上文所述的一個或多個機器學(xué)習(xí)程序)。圖38E的算法還可涉及基于優(yōu)化因子進行分塊(387)。這可以進行因子分析，以測定內(nèi)容與優(yōu)化因子之間的交互作用。圖38E所示的算法另外可以涉及基于噪聲因子進行分塊以增加統(tǒng)計功效(388)。這些過程優(yōu)選持續(xù)向時隙樣本分配內(nèi)容直到主要效應(yīng)和交互效應(yīng)樣本大小需求得到滿足并且設(shè)計得到平衡。該算法還可以對順序效應(yīng)進行反向平衡 (389)。在每一個時隙樣本內(nèi)，使用已知技術(shù)(如，Latin Squaring (拉丁方陣))反向平衡顯示各條內(nèi)容的順序。圖38F示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容以用于測試內(nèi)容的相對有效性的算法的過程。圖38F所示的算法涉及選擇實驗的開始點與結(jié)束點之間的還沒有被分配實驗內(nèi)容的任何時隙樣本(502)。該算法還涉及隨機選擇任何一條實驗內(nèi)容并且在步驟(506)中分配選擇的實驗內(nèi)容以在選擇的TSS的整個持續(xù)時間內(nèi)進行播放(504)。重復(fù)塊(502)、(504)、和(506)所示的過程直至受控于實驗系統(tǒng)的所有時隙樣本均被實驗內(nèi)容填充(508)。可以產(chǎn)生該算法的輸出的報告(510)。該報告可以包含多種信息(例如，此前參照圖37描述的信息)。應(yīng)當(dāng)注意，如果對時隙樣本標記了屬性，則可以基于在分配到時隙樣本的內(nèi)容與時隙樣本的屬性之間發(fā)現(xiàn)的任何交互作用產(chǎn)生假設(shè)并且進行探索性的數(shù)據(jù)分析。在多個實驗情況下，期望將自變量(或變量)的每一個水平分配到相同數(shù)目的樣本。圖38G示出了根據(jù)本發(fā)明實施例的使用受約束的隨機化過程向時隙樣本分配內(nèi)容以使得每一條實驗內(nèi)容分配到相同數(shù)目的時隙樣本的算法的過程。圖38G所示的算法涉及選擇實驗的開始點與結(jié)束點之間的還沒有被分配實驗內(nèi)容的任何時隙樣本(520)。該算法還涉及隨機選擇任何一條的實驗內(nèi)容(522)并且將選擇的實驗內(nèi)容分配到選擇的TSS(524)?；诿恳粭l的實驗內(nèi)容分配到相同數(shù)目的時隙樣本的約束(5 )，重復(fù)塊(520)、 (522)和(5M)中所示的過程。如此前進行的討論，可以產(chǎn)生該算法的輸出的報告(5 )。在一些實驗環(huán)境下，可以人工設(shè)計或使用現(xiàn)成的統(tǒng)計軟件或例如使用下文中描述的專家系統(tǒng)設(shè)計實驗，在這種情況下，已經(jīng)指定了多種實驗內(nèi)容和對照內(nèi)容的樣本大小要求。圖38H示出了根據(jù)本發(fā)明實施例的采用這些樣本大小要求作為輸入并且使用受約束的隨機化過程向時隙樣本分配內(nèi)容以確保樣本大小要求得到滿足的算法的過程。圖38H所示的算法涉及隨機選擇所有內(nèi)容樣本所需的時隙樣本的數(shù)目(540)。該算法還涉及對選擇的內(nèi)容樣本隨機分配實驗內(nèi)容(542)。應(yīng)當(dāng)注意，由于樣本大小要求得到滿足而不需要的剩余時隙樣本可以填入對于商業(yè)結(jié)果進行優(yōu)化，而非用于測試任何假設(shè)的內(nèi)容。圖381示出了根據(jù)本發(fā)明實施例的使用完整的隨機化過程但加入優(yōu)化因子約束向時隙樣本分配內(nèi)容的算法的過程。優(yōu)化因子約束可以以類似方式加入相等的樣本大小或預(yù)定的樣本大小過程。應(yīng)當(dāng)注意，每一個內(nèi)容樣本優(yōu)選具有識別與之相關(guān)的優(yōu)化因子的元數(shù)據(jù)，并且時隙樣本還具有識別哪些優(yōu)化因子與時隙樣本相關(guān)的元數(shù)據(jù)。圖381所示的算法涉及隨機選擇任何(第一)條的實驗內(nèi)容(550)，并且隨機選擇實驗開始點與實驗結(jié)束點之間的任何(第一)時隙樣本(552)。隨機選擇的(第一)條的實驗內(nèi)容分配到選擇的(第一)時隙樣本(5M)。圖381的算法涉及基于約束隨機選擇另一個(第二)時隙樣本(556)，其中，該約束是另一個(第二)時隙樣本與此前選擇的(第一)時隙樣本相比較所具有的不同水平的
40優(yōu)化因子。隨機選擇的(第一)條實驗內(nèi)容分配到該(第二)選擇的時隙樣本(558)。重復(fù)上述的TSS選擇過程(560)，直到在所有水平的優(yōu)化因子內(nèi)選擇的(第一)內(nèi)容條已經(jīng)分配到一個TSS。圖381的算法還涉及隨機選擇任何(第二)條的實驗內(nèi)容(562)，并且針對該接下來的(第二)條的實驗內(nèi)容重復(fù)過程( 到(560) (564)。重復(fù)塊(550)到(564)的過程 (566)，直到填充最大數(shù)目的時隙樣本而不導(dǎo)致非平衡設(shè)計(即，直到時隙樣本少于優(yōu)化因子的數(shù)目與實驗內(nèi)容條的數(shù)目的乘積)。圖38J示出了根據(jù)本發(fā)明實施例的使用完整的隨機化過程但加入塊因子約束向時隙樣本分配內(nèi)容的算法的過程。塊因子約束可以以相似方式加入相等樣本大小或預(yù)定的樣本大小過程。應(yīng)當(dāng)注意，每一個內(nèi)容樣本優(yōu)選具有識別與之相關(guān)的塊因子的元數(shù)據(jù)，并且時隙樣本還具有識別哪些塊因子與時隙樣本相關(guān)的元數(shù)據(jù)。圖3 所示的算法涉及隨機選擇任何(第一)條實驗內(nèi)容(602)，并且隨機選擇實驗開始點與結(jié)束點之間的任何(第一)時隙樣本(604)。隨機選擇的(第一)條實驗內(nèi)容分配到選擇的(第一)時隙樣本(606)。圖38J的算法涉及基于約束隨機選擇另一個(第二)時隙樣本(608)，該約束是另一個(第二)時隙樣本與此前選擇的(第一)時隙樣本相比較所具有的不同水平的塊因子。 選擇的(第一)條的實驗內(nèi)容分配到該(第二)選擇的時隙樣本(610)。重復(fù)上述的TSS 選擇過程(612)，直到在所有水平的塊因子中選擇的(第一)條內(nèi)容已經(jīng)分配到一個TSS。圖38J的算法還涉及隨機選擇任何(第二)條實驗內(nèi)容(614)，并且針對該接下來的(第二)條實驗內(nèi)容重復(fù)過程(604)-(612) (616)。重復(fù)塊(602)到(616)的過程(618)， 直到已經(jīng)填充最大數(shù)目的時隙樣本而不導(dǎo)致非平衡設(shè)計(即，直到時隙樣本少于塊因子的數(shù)目與實驗內(nèi)容條的數(shù)目的乘積)。圖39A示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容的算法的過程。圖39A所示的實施例涉及向時隙樣本分配內(nèi)容(其中各條內(nèi)容比時隙樣本短)的算法。圖39A的算法確保不會出現(xiàn)內(nèi)容混淆并且可以使用相同的時隙樣本測試多個假設(shè)(即，可以在相同的時隙樣本內(nèi)測試不相關(guān)的自變量)?？梢砸韵嗨品绞綄ο嗤颊邷y試多種藥品，這會省錢和省時。例如，在藥品測試境況下，能夠?qū)φ谟糜跍y試口臭藥物的相同患者測試局部止疼膏。即，局部止疼膏不會影響口臭而口臭藥物也不會影響皮膚情況。然而，不希望對正用于測試例如新牙膏的相同患者測試口臭的治療。圖39A所示的算法涉及隨機選擇實驗開始點與結(jié)束點之間的任何開放時隙樣本 (640)。隨機選擇一條的實驗內(nèi)容(642)，并且選擇的實驗內(nèi)容條分配到選擇的TSS (644)。 圖39的算法還涉及基于約束隨機選擇一條實驗內(nèi)容(646)，該約束是選擇的這條實驗內(nèi)容與已經(jīng)分配到TSS的內(nèi)容不相關(guān)。選擇的這條實驗內(nèi)容分配到選擇的TSS(648)。重復(fù)塊 (646)和(648)的過程，直到不可以加入一條實驗內(nèi)容而所有選擇的實驗內(nèi)容的持續(xù)時間的和不會超過TSS的持續(xù)時間，或直到不存在剩余的不相關(guān)的實驗內(nèi)容條，以先到者為準。如果在選擇的TSS中還存在任何開放時間，則對TSS的剩余開放時間填入絕對安慰劑內(nèi)容(65 。圖39A的算法還涉及在TSS內(nèi)對內(nèi)容進行隨機排序(654)。如果TSS包含任何絕對安慰劑內(nèi)容，則接著進行隨機化從而相等持續(xù)時間的安慰劑內(nèi)容對實驗內(nèi)容條進行分離。
在實驗開始點與結(jié)束點之間隨機選擇另一個開放TSS(656)。隨機選擇沒有分配到此前填入的TSS的一條實驗內(nèi)容(658)。如果已經(jīng)分配了所有的內(nèi)容條，則選擇絕對安慰劑內(nèi)容。如果在塊(658)中選擇了絕對安慰劑內(nèi)容，則對選擇的TSS填入絕對安慰劑內(nèi)容 (660)，否則選擇的實驗內(nèi)容條分配到選擇的TSS，并且根據(jù)塊(646)到6M的過程對該TSS 進行填充。根據(jù)塊(640)到660的過程繼續(xù)對開放TSS進行填充，直到所有的實驗內(nèi)容條已經(jīng)分配到TSS。圖39B示出了根據(jù)本發(fā)明實施例的向時隙樣本分配內(nèi)容的算法的過程。圖39B所示的實施例涉及一種算法，這種算法確保在關(guān)注的持續(xù)時間期間不會出現(xiàn)位置混淆，并且在關(guān)注的持續(xù)時間以后，如果內(nèi)容導(dǎo)致正在測定的行為數(shù)據(jù)或交易數(shù)據(jù)發(fā)生變化則該內(nèi)容被視為不是關(guān)注的內(nèi)容。即，圖39B的算法確保在關(guān)注的持續(xù)時間期間，觀察者不可以感受自變量的一個水平并在正在測試自變量的不同水平的不同位置對它作出反應(yīng)。使用所有實驗位置以消除所有的位置混淆的潛在缺點在于以這種方式使用的任何位置不能夠暴露到相同自變量的多個水平。同樣，很難測定自變量的不同水平的組合在相同位置內(nèi)如何彼此進行交互。在一些境況下，可以期望首先選擇預(yù)定數(shù)目的位置以分配實驗內(nèi)容以用于完整的位內(nèi)測試效應(yīng)，然后運行該算法以使用剩余位置在沒有位間混淆的情況下進行測試。即，例如，可以使用圖38H滿足用于位內(nèi)因子的預(yù)定的樣本大小，然后使用圖39B測定位置之間的內(nèi)容的效應(yīng)。圖39B所示的算法涉及隨機選擇任何實驗位置(670)，并且選擇與選擇的位置有關(guān)的所有位置(672)?；诩s束，內(nèi)容隨機分配到前面兩塊670和672中選擇的位置 (674)，該約束是僅僅不相關(guān)的內(nèi)容條分配到這些位置?；诩s束，隨機選擇另一個實驗位置(676)，該約束是該選擇的實驗位置與已經(jīng)選擇的任何位置不相關(guān)。選擇與前面的塊中選擇的位置有關(guān)(676)，并且與塊670和672中選擇的位置不相關(guān)的所有位置(678)?；诩s束，內(nèi)容隨機分配到在前面兩個塊676和678中選擇的位置(680)，該約束是僅僅不相關(guān)的內(nèi)容條分配到這些位置。重復(fù)塊676到680的過程，直到不存在剩余的不相關(guān)的位置。根據(jù)本發(fā)明的實施例的系統(tǒng)可包括本文所述的一個或多個特征、結(jié)構(gòu)、方法、或其組合。例如，系統(tǒng)可被實施為包括圖40A-40C示出的一個或多個有利的特征和/或進程。其目的在于，這類系統(tǒng)并不需要包括本文所述的所有特征，而是可被實施為包括提供可用結(jié)構(gòu)和/或功能的選定特征。根據(jù)本發(fā)明的實施例的數(shù)字標牌系統(tǒng)(DSS)示于圖40A中。圖40A中所示的DSS 為計算機化的系統(tǒng)，其被構(gòu)造用于以音頻、視頻和/或其它媒體格式呈現(xiàn)信息內(nèi)容。DSS可以包括自動或半自動產(chǎn)生播放列表和計劃表的功能，其中，播放列表提供要進行呈現(xiàn)的信息內(nèi)容的列表，計劃表定義呈現(xiàn)內(nèi)容的順序。在半自動模式下，用戶可以通過交互式用戶界面(410)訪問DSS控制處理器005)?；贒SS控制處理器005)的輔助，用戶可以識別要進行呈現(xiàn)的內(nèi)容并且產(chǎn)生用于控制在一個或多個DSS播放器(41 上進行呈現(xiàn)的定時和順序的播放列表和計劃表。每一個播放器(41 根據(jù)針對播放器進行開發(fā)的播放列表和計劃表向感受者呈現(xiàn)內(nèi)容。例如，信息內(nèi)容可以包括圖形、文本、視頻剪輯、靜止圖像、音頻剪輯、 網(wǎng)頁和/或視頻和/或音頻內(nèi)容的任何組合。在一些具體實施中，在開發(fā)了播放列表和計劃表以后，DSS控制處理器(40 確定播放列表所需的內(nèi)容，從內(nèi)容服務(wù)器下載內(nèi)容，并且將內(nèi)容與播放列表和計劃表一起傳遞到向播放器(41 分配內(nèi)容的播放器控制器020)。雖然圖40A僅僅示出了一個播放器控制器G20)，但多個播放器控制器可以連接到一個DSS控制處理器005)。每一個播放器控制器(420)可控制一個播放器或多個播放器015)。通過恰當(dāng)提供識別內(nèi)容/播放列表/ 計劃表所指向的播放器(41 的信息，內(nèi)容和/或播放列表和計劃表可以以壓縮格式從DSS 控制處理器(40 傳遞到一個或多個播放器控制器(420)。在某些應(yīng)用中，播放器(415)可在商店或購物中心內(nèi)分配，并且在播放器(415)上展示的內(nèi)容可以是廣告。在其它具體實施中，DSS控制處理器(40 可以僅僅將播放列表和計劃表傳遞到播放器控制器G20)。如果內(nèi)容沒有駐留在播放器控制器(420)上，則播放器控制器(420) 可以訪問內(nèi)容存儲器(425)以采集要進行呈現(xiàn)的內(nèi)容。在某些場景中，借助于網(wǎng)絡(luò)連接(如內(nèi)聯(lián)網(wǎng)或互聯(lián)網(wǎng))(有線的或無線的)可以訪問DSS系統(tǒng)各部件中的一個或多個(包括內(nèi)容存儲器G25))。播放器控制器(420)可以匯編期望內(nèi)容，或方便根據(jù)播放列表和計劃表在播放器上顯示期望內(nèi)容。例如，用戶可以周期性地或可以按照意愿、或者通過播放器控制器020)自動地(在算法上)、或者通過DSS控制處理器(40 來修改播放器(41 上呈現(xiàn)的播放列表、計劃表和/或內(nèi)容。在一些具體實施中，DSS控制處理器(40 方便在播放器上進行播放的內(nèi)容的節(jié)目的開發(fā)和/或格式化。例如，DSS控制處理器(40 可以方便使用模板格式化視聽節(jié)目。 該模板包括在開發(fā)要進行呈現(xiàn)的視聽節(jié)目過程中應(yīng)用的格式化約束和/或規(guī)則。例如，該模板可以包括與用于一些類型的內(nèi)容的屏幕的多個部分相關(guān)的規(guī)則，在每一個部分中可以顯示哪種類型的內(nèi)容、按照什么順序、字體大小和/或可用于節(jié)目的顯示的其它約束或規(guī)則。每種顯示結(jié)構(gòu)可以期望一組獨立的規(guī)則和/或約束。在一些實施例中，DSS控制處理器(40 可以自動格式化針對不同顯示器的節(jié)目。在一些實施例中，基于通過認知科學(xué)領(lǐng)域內(nèi)的研究和實驗獲得的信息，DSS可以建立模板、產(chǎn)生內(nèi)容，選擇內(nèi)容，匯編節(jié)目，和/或格式化要進行顯示的節(jié)目。認知科學(xué)嘗試理解人類感覺的機制。認知和視覺科學(xué)的學(xué)科已經(jīng)產(chǎn)生了關(guān)于人類感覺系統(tǒng)如何處理信息、 形成注意力的機制、人類大腦如何存儲并表現(xiàn)記憶中的信息、以及語言和問題解決的認知基礎(chǔ)的大量知識基礎(chǔ)。通過對內(nèi)容設(shè)計、布局、格式化和/或內(nèi)容呈現(xiàn)應(yīng)用認知科學(xué)，可以產(chǎn)生易于人類感覺系統(tǒng)進行處理、易于理解以及易于存儲在人類記憶中的信息。從認知科學(xué)采集并存儲在認知科學(xué)數(shù)據(jù)庫G30)中的知識可以自動或半自動用于通知包括建立模板、內(nèi)容設(shè)計、 選擇內(nèi)容、分配內(nèi)容、匯編節(jié)目和/或格式化顯示節(jié)目的DSS的一個或多個過程。結(jié)合DSS 的編程使用的認知科學(xué)數(shù)據(jù)庫(430)產(chǎn)生通過認知科學(xué)的教導(dǎo)加強的廣告或其它數(shù)字標牌節(jié)目，并且減輕了系統(tǒng)用戶對特定領(lǐng)域內(nèi)的訓(xùn)練的需要。例如，認知科學(xué)數(shù)據(jù)庫(430)可以存儲在內(nèi)容設(shè)計、分配和/或調(diào)整過程內(nèi)進行使用從而提供易于人類感覺系統(tǒng)進行處理、易于理解并易于存儲在記憶中的內(nèi)容的認知和視覺科學(xué)信息。認知科學(xué)數(shù)據(jù)庫(430)可以包括可由計算機進行實現(xiàn)以根據(jù)認知和視覺科學(xué)的原理開發(fā)和修改內(nèi)容的設(shè)計規(guī)則和模板。認知科學(xué)數(shù)據(jù)庫(430)還可以包括認知和視覺科學(xué)的原理的計算機可實施模型(例如，視覺注意、文本可讀性、和記憶原理的模型)。在開發(fā)數(shù)字標牌節(jié)目(如，廣告活動等等)的過程內(nèi)，DSS控制處理器(405)可以引導(dǎo)用戶經(jīng)過使用通過認知科學(xué)采集的知識進行加強的多個過程。例如，存儲在認知科學(xué)數(shù)據(jù)庫G30)中的信息可應(yīng)用于產(chǎn)生最佳節(jié)目布局的模板的選擇和/或內(nèi)容的選擇(例如，內(nèi)容元素是否應(yīng)當(dāng)是圖形、文本，是否涉及移動、色彩、大小)和/或節(jié)目開發(fā)的其它方面的實施。本發(fā)明的計算機輔助方法和系統(tǒng)可實施為允許通常沒有接受過應(yīng)用認知科學(xué)和視覺科學(xué)原理所需培訓(xùn)的內(nèi)容設(shè)計者提高內(nèi)容設(shè)計和分配的有效性。本發(fā)明的系統(tǒng)和方法可并入以多種方式涉及認知科學(xué)數(shù)據(jù)庫G30)的特征和功能，這在2006年12月四日提交的代理人卷號 61288W0003、名稱為"Content Development and Distribution Using Cognitive Sciences Database'^ “使用認知科學(xué)數(shù)據(jù)庫內(nèi)容開發(fā)和分配”)的指定美國的國際專利申請US2006/049662的共同待審美國專利申請序列號12/159106中進行了更加全面的描述，該專利申請以引用方式并入本文中。DDS能夠設(shè)計數(shù)字標牌節(jié)目的其它版本以適應(yīng)不同的顯示器類型和觀看條件。顯示技術(shù)是多種多樣的，并且用于在數(shù)字標牌網(wǎng)絡(luò)上呈現(xiàn)內(nèi)容的多種類型的顯示器之間存在較大差別。例如，在整個數(shù)字標牌網(wǎng)絡(luò)上，顯示器的大小、形狀、亮度、以及觀看條件變化很大(如，一些顯示器可能較小、柔性和非直線，而另一些顯示器可能是標準大格式的液晶顯示器(LCD)和等離子體顯示器)。顯示器類型和觀看條件的變化意味著一條內(nèi)容的任何一個版本不可能對于整個網(wǎng)絡(luò)上的所有顯示器均是最佳的。為了克服該問題，需要對每種顯示器類型和觀看條件產(chǎn)生每一條內(nèi)容的多個版本并且將內(nèi)容的這些版本選擇性分配到網(wǎng)絡(luò)中的它們的對應(yīng)屏幕。然而，期待內(nèi)容設(shè)計員具有整個大的DSS網(wǎng)絡(luò)上的顯示器類型和觀看條件的這些詳細知識是不現(xiàn)實的。此外，即使這些內(nèi)容設(shè)計員具有這種詳細知識，針對每種顯示器人工建立內(nèi)容的版本以及人工對內(nèi)容進行調(diào)度以在恰當(dāng)時間在每一個對應(yīng)顯示器上進行顯示將是耗時的。DSS可以包括數(shù)據(jù)采集單元(435)，用于采集用于提高展開的內(nèi)容的有效性的數(shù)據(jù)。基于數(shù)據(jù)采集單元035)，在內(nèi)容展開過程內(nèi)可以實時連續(xù)聚集成為數(shù)字標牌網(wǎng)絡(luò)的有效性的基礎(chǔ)的分配因子。采集的信息可以方便持續(xù)提高DSS的內(nèi)容有效性以及改進內(nèi)容條的各個版本。例如，此前采集的數(shù)據(jù)可以用于獲知哪些傳感器或銷售事件應(yīng)當(dāng)觸發(fā)特定類型的內(nèi)容的顯示。任何內(nèi)容節(jié)目內(nèi)的各條內(nèi)容均具有特定目的(如，銷售特定產(chǎn)品)。一般情況下， 數(shù)字標牌網(wǎng)絡(luò)的用戶的每一個目標的值是可變的。例如，涉及產(chǎn)品的目標的值的每一個產(chǎn)品的利潤率和庫存水平是可變的。實現(xiàn)每一個目標的值在調(diào)配數(shù)字標牌節(jié)目的時間內(nèi)連續(xù)變化。例如，產(chǎn)品的庫存水平可以變化，因此影響產(chǎn)品的銷售目標。整體上加強DSS的有效性涉及1)準確預(yù)測調(diào)配數(shù)字標牌節(jié)目對與數(shù)字標牌節(jié)目相關(guān)的目標的影響；以及幻隨著與內(nèi)容條對應(yīng)的每一個獨立目標的值的變化，連續(xù)改變各條內(nèi)容的分配模式(定時、頻率和位置)。在許多情況下，DSS的用戶不可以預(yù)測調(diào)配內(nèi)容的影響以及基于與每一條內(nèi)容相關(guān)的目標的連續(xù)變化值人工改變內(nèi)容分配模式。DSS提供預(yù)測數(shù)字標牌節(jié)目的影響以及基于預(yù)測改變內(nèi)容的分配的功能。如此前所述，在播放器015)上顯示內(nèi)容，用于影響人類行為(如，影響購買行為)。然而，先前的數(shù)字標牌系統(tǒng)不能夠反映標牌內(nèi)容與人類行為之間的因果關(guān)系或測定因果關(guān)系的強度。出現(xiàn)該難題的原因在于在整個當(dāng)前數(shù)字標牌網(wǎng)絡(luò)上傳遞內(nèi)容的方法不支持確定人類行為的任何測定的變化是由標牌內(nèi)容導(dǎo)致的還是由一些混淆因子的結(jié)果(例如，天氣變化、對產(chǎn)品的一般需求的變化、產(chǎn)品的價格的變化)導(dǎo)致的。決定性確定標牌內(nèi)容與人類行為之間的因果關(guān)系的方法只有進行真實驗，在真實驗過程內(nèi)，使用復(fù)雜的實驗設(shè)計系統(tǒng)性操縱標牌內(nèi)容，并且仔細測定這些操縱對人類行為的效應(yīng)。人工進行這種實驗是耗時的并且需要關(guān)于如何設(shè)計真實驗的科學(xué)方法的大量知識和訓(xùn)練。數(shù)字標牌系統(tǒng)的用戶可以不具有理解如何設(shè)計真實驗以采集無混淆結(jié)果的充足訓(xùn)練。圖40A所示的DSS包括實驗設(shè)計處理器(440)和提供設(shè)計真實驗的能力的用戶界面(410)，并且也包括機器學(xué)習(xí)設(shè)計處理器439和提供設(shè)計機器學(xué)習(xí)程序的能力的用戶界面010)。圖40A所示的DSS還包括被構(gòu)造用于控制因果實驗的執(zhí)行的實驗調(diào)配單元(445) 和被構(gòu)造用于控制機器學(xué)習(xí)程序的執(zhí)行的機器學(xué)習(xí)調(diào)配單元437。圖40B示出了根據(jù)本發(fā)明實施例的被構(gòu)造用于設(shè)計、執(zhí)行、和分析用于因果實驗和機器學(xué)習(xí)程序中的數(shù)據(jù)的系統(tǒng)。圖40B所示的系統(tǒng)包括實驗設(shè)計處理器040)，所述實驗設(shè)計處理器(440)被構(gòu)造用于設(shè)計真實驗或具有真實驗的約束的子過程(例如，在圖37-39 中描述的那些子過程)。如此前討論，實驗設(shè)計處理器(440)可以被構(gòu)造為全自動或半自動與用戶交互進行工作。在半自動模式下，實驗設(shè)計處理器(440)可以引導(dǎo)用戶經(jīng)過通過用戶界面(410)執(zhí)行的多個交互式會話以設(shè)計真實驗。在該過程內(nèi)，實驗設(shè)計處理器(440) 確保產(chǎn)生無混淆數(shù)據(jù)的真實驗的設(shè)計。因此，用戶能夠依賴實驗設(shè)計處理器G40)的設(shè)計并且不需要具有設(shè)計真實驗的知識或經(jīng)驗。DSS可僅包括實驗設(shè)計處理器040)，或可包括附加部件，例如實驗調(diào)配單元045)、數(shù)據(jù)采集單元035)、和數(shù)據(jù)分析單元050)。圖40B 所示的系統(tǒng)還包括被構(gòu)造為有利于設(shè)計一個或多個機器學(xué)習(xí)程序的機器學(xué)習(xí)設(shè)計處理器 439。系統(tǒng)還可包括實驗調(diào)配單元045)。實驗調(diào)配單元(445)被構(gòu)造為有利于實驗調(diào)配。在代表性數(shù)字標牌系統(tǒng)的環(huán)境下，實驗調(diào)配單元(445)對實驗內(nèi)容和對照組內(nèi)容進行格式化以用于多種播放器配置，而且有利于把實驗內(nèi)容和對照內(nèi)容轉(zhuǎn)移至播放器控制器 G20)，以按照播放列表和計劃表在播放器(41 上進行展示。DSS系統(tǒng)的機器學(xué)習(xí)調(diào)配單元437協(xié)調(diào)一個或多個機器學(xué)習(xí)程序(例如上文討論的那些)的執(zhí)行，以及格式化被MLR 使用的內(nèi)容。機器學(xué)習(xí)調(diào)配單元437有利于將MLR內(nèi)容轉(zhuǎn)移至播放器控制器(420)，以按照 MLR播放列表和計劃表在播放器015)上進行展示。數(shù)據(jù)采集單元(435)可被構(gòu)造用于采集來自對照組和處理組的實驗數(shù)據(jù)以及用于機器學(xué)習(xí)程序的優(yōu)化數(shù)據(jù)。數(shù)據(jù)采集單元(43 可通過任何方式執(zhí)行或有利于與實驗和機器學(xué)習(xí)程序相關(guān)的數(shù)據(jù)的采集。例如，在示例性DSS中，數(shù)據(jù)采集單元(43 可以連接到多種傳感器或數(shù)據(jù)采集裝置062)、(464)和066)，這些傳感器或數(shù)據(jù)采集裝置062)、 (464)和(466)采集包括產(chǎn)品移動、產(chǎn)品銷售、顧客行動或反應(yīng)和/或其它信息的信息。傳感器(462)例如可以用于檢測顧客是否拾取了產(chǎn)品或當(dāng)顯示內(nèi)容時顧客是否在顯示器的附近。可以基于由銷售點(POS)系統(tǒng)(464)采集的信息確定銷售。還可以使用證實內(nèi)容顯示的一個或多個裝置066)?？梢酝ㄟ^庫存控制系統(tǒng)獲得產(chǎn)品的庫存水平的變化。可以通過問卷采集顧客反應(yīng)。如果執(zhí)行的實驗是真實驗，則由數(shù)據(jù)采集單元(43 采集的數(shù)據(jù)基本是無混淆的。數(shù)據(jù)采集單元(43 可以連接到數(shù)據(jù)分析單元(450)，數(shù)據(jù)分析單元(450)可以被構(gòu)造用于對由數(shù)據(jù)采集單元(43 采集的實驗數(shù)據(jù)進行分析。數(shù)據(jù)分析單元(450)可以確定和/或量化實驗的自變量與因變量之間的因果關(guān)系。對于所示的DSS，分析結(jié)果可以用于確定內(nèi)容是否會有效影響產(chǎn)品銷售。數(shù)據(jù)分析單元(450)可分析所采集數(shù)據(jù)以便優(yōu)化最大化一個或多個有效性尺度(例如購買點銷售、升級、以及顧客忠誠度等等)的內(nèi)容分配模式。由于分析單元(450)將接收關(guān)于自變量和因變量的信息(如，IV和DV是連續(xù)還是離散的)，所以分析單元(450)將具有大量必要地信息來選擇對實驗數(shù)據(jù)應(yīng)用的恰當(dāng)統(tǒng)計測試。例如，如果存在具有兩個離散水平的一個IV和一個連續(xù)的DV，則T-Test將用于推論統(tǒng)計測試，而如果存在具有兩個離散水平的一個IV和具有兩個離散水平的一個DV，則 Chi-Squared測試將用于推論統(tǒng)計測試。同樣地，由于分析單元將從設(shè)計處理器(440)訪問關(guān)于哪些實驗條件是特定假設(shè)的診斷的信息，所以分析單元(450)將具有確定哪些實驗和對照條件應(yīng)當(dāng)進行統(tǒng)計比較所需的大多數(shù)或全部信息。這些分析的結(jié)果可另外或作為另外一種選擇用于實施或修改多個不同進程。例如，如果內(nèi)容會有效影響產(chǎn)品銷售，則可以將該內(nèi)容并入廣告活動。可以基于增加銷售的有效性由內(nèi)容評價過程(47 對內(nèi)容分配值。根據(jù)內(nèi)容的值由開賬單單元(474)對使用內(nèi)容的廣告顧客開出賬單。數(shù)據(jù)分析單元(450)還可以向庫存控制(476)提供信息。另外，數(shù)據(jù)分析單元(450)可以向銷售預(yù)測單元(478)提供信息，當(dāng)調(diào)配廣告活動時銷售預(yù)測單元 (478)產(chǎn)生銷售預(yù)測。此外或另外，銷售預(yù)測單元(478)可以預(yù)測支持通過廣告活動產(chǎn)生的銷售所需的產(chǎn)品庫存。在2005年12月四日提交的共同待審美國專利申請序列號11/321，340以及2006 年12月四日提交的美國專利申請序列號12/159107(即，代理人案件號61292W0003、名稱為“Expert System for Designing Experiments” ( “設(shè)計實驗的專家系統(tǒng)”)的國際專利申請US2006/049657)中進一步描述了能夠產(chǎn)生數(shù)字標牌內(nèi)容、對由專家系統(tǒng)設(shè)計的實驗進行調(diào)配以及采集實驗數(shù)據(jù)的數(shù)字標牌系統(tǒng)的具體實施，其中，該專利申請以引用方式并入本文中。根據(jù)本發(fā)明的實施例，本文所述的系統(tǒng)和方法可以形成咨詢業(yè)務(wù)的基礎(chǔ)。除了別的以外，提供的服務(wù)可以包括(但不限于)與顧客進行工作以針對某些通信目標和某些顧客觀察者恰當(dāng)定義他們的時隙樣本，確定研究涉及哪些變量，確定用于進行測試的自變量的水平，確定用于進行分塊和隨機化處理的因子，以及執(zhí)行功效分析。此前描述的測定算法可以用于針對交叉優(yōu)化和塊因子指定時隙配置要求。本發(fā)明的另一種應(yīng)用涉及將總獲利能力進行最大化的系統(tǒng)和方法。本發(fā)明的系統(tǒng)可用于針對兩個目標優(yōu)化所有可用時隙樣本的分配(1)上文中詳細描述的內(nèi)容有效性測試，以及⑵沒有進行測試但涉及(例如)增加銷售、提升顧客滿意度、通知員工等等的任何數(shù)目的商業(yè)目的的內(nèi)容。本文所述的根據(jù)本發(fā)明實現(xiàn)的系統(tǒng)可以提供數(shù)據(jù)以“平衡”時隙樣本的總量，使得用戶可以確定測試相對非測試時隙樣本的最佳水平，并且在這些組內(nèi)進行配置以使用最小數(shù)目的時隙樣本更加有效地測試內(nèi)容，從而對非測試內(nèi)容釋放更多的時隙樣本。當(dāng)用戶尋求連續(xù)監(jiān)視和調(diào)整內(nèi)容分配以將獲利能力、滿意度等最大化時結(jié)果數(shù)據(jù)可以通知用戶，并且能夠輔助用戶確定何時內(nèi)容“過時”(即，定義為當(dāng)此前有效內(nèi)容由于過度暴露給顧客或員工觀察者而不再非常有效的時間點)。圖40C為根據(jù)本發(fā)明實施例的包括DSS的多個部件的數(shù)字標牌網(wǎng)絡(luò)的示意圖。 根據(jù)圖40C，DSN包括通信耦合到實驗系統(tǒng)(423)和機器學(xué)習(xí)系統(tǒng)027)的DSN系統(tǒng)模塊 (429) 0服務(wù)器021)也通信耦合到DSN系統(tǒng)模塊0 )，所述服務(wù)器配合控制整個DSN的內(nèi)容分配。DSN系統(tǒng)模塊(429)被構(gòu)造用于在整個網(wǎng)絡(luò)(在圖40C中示為DSN基礎(chǔ)結(jié)構(gòu))分配內(nèi)容，并且采集和處理各種數(shù)據(jù)。DSN系統(tǒng)模塊(429)與實驗系統(tǒng)(423)配合以進行因果實驗，并且與機器學(xué)習(xí)系統(tǒng)(427)配合以執(zhí)行機器學(xué)習(xí)程序。對于執(zhí)行不包括運行實驗的機器學(xué)習(xí)程序的那些實施例，圖40C中所示的DSN系統(tǒng)可排除實驗系統(tǒng)(423)。DSN系統(tǒng)模塊(429)可包括頂層決策工具，例如上文在多個實施例的上下文中所述(如，參見圖30)。例如，DSN系統(tǒng)模塊(429)可被構(gòu)造用于執(zhí)行不斷監(jiān)測網(wǎng)絡(luò)的算法并且決定如何將各個顯示器的各個時間段(如，TSS)控制分配給子部件系統(tǒng)(a)實驗系統(tǒng) (423)和(b)MLR系統(tǒng)027)。如此前所討論的，決策工具使用下述輸入涉及實驗洞察力的值的用戶、涉及所需樣本大小/持續(xù)時間以滿足所需統(tǒng)計功效的實驗系統(tǒng)、隨實驗進展的輸入因變量數(shù)據(jù)、以及允許MLR控制TSS以便最大化當(dāng)前商業(yè)目的的估計或已知值。應(yīng)當(dāng)理解，決策工具可在DSN系統(tǒng)中除DSN系統(tǒng)模塊(429)之外的部件(如，實驗系統(tǒng)023)、 MLR系統(tǒng)027))內(nèi)執(zhí)行，并且可在各個部件中進行分配。DSN系統(tǒng)模塊(429)通過DSN基礎(chǔ)結(jié)構(gòu)013)與多個顯示器(415)通信，所述DSN 基礎(chǔ)結(jié)構(gòu)(413)可包括有線和無線的網(wǎng)絡(luò)中的一者或兩者。圖40C所示的DSN基礎(chǔ)結(jié)構(gòu) (413)并入一個或多個移動網(wǎng)絡(luò)G17)以及一個或多個數(shù)據(jù)網(wǎng)絡(luò)019)。移動網(wǎng)絡(luò)(417) 可表示任何一個或多個已知的或未來的無線網(wǎng)絡(luò)技術(shù)，例如全球移動通信系統(tǒng)(GSM)、通用移動通信系統(tǒng)(UMTS)、個人通信服務(wù)(PCS)、時分多址聯(lián)接方式(TDMA)、碼分多址聯(lián)接方式 (CDMA)、寬帶CDMA(WCDMA)、或其他移動網(wǎng)絡(luò)傳輸技術(shù)。一個或多個數(shù)據(jù)網(wǎng)絡(luò)019)可與移動網(wǎng)絡(luò)G17)協(xié)同配合(或不與移動網(wǎng)絡(luò)G17)配合)以有利于往返DSN系統(tǒng)模塊(429) 的數(shù)據(jù)轉(zhuǎn)移。例如，所示數(shù)據(jù)網(wǎng)絡(luò)(419)可表示互聯(lián)網(wǎng)，其接合至所示移動網(wǎng)絡(luò)(417)從而提供與DSN系統(tǒng)模塊0 )的輸送路線連接。在一些實施例中，顯示器(41 組耦合至一個或多個播放器控制器G20)，所述一個或多個播放器控制器(420)通過DSN基礎(chǔ)結(jié)構(gòu)013)與DSN系統(tǒng)模塊(429)通信。播放器控制器(420)和顯示器015)與DSN基礎(chǔ)結(jié)構(gòu)013)之間的連接可分別為有線的、無線的或者有線和無線連接的組合。在其它實施例中，播放器控制器(420)不需要用于充當(dāng)顯示器G15)與DSN基礎(chǔ)結(jié)構(gòu)013)之間的接口?？墒褂昧骷夹g(shù)管理內(nèi)容分配和數(shù)據(jù)采集， 所述流技術(shù)允許DSN系統(tǒng)模塊(429)在不存在播放器控制器(420)的情況下來協(xié)調(diào)和執(zhí)行用于多個顯示器G15)的播放列表計劃表。合適的傳輸方法包括除了別的以外，自動重試查詢(ARQ)、TCP、以及UDP流傳輸。使用本文提供的描述，本發(fā)明的實施例可以實現(xiàn)為機器、過程、或通過使用用于產(chǎn)生編程軟件、固件、硬件或它們的組合的標準編程和/或工程技術(shù)制造的制品?？梢栽谝粋€或多個計算機可用媒體(例如，常駐存儲裝置、智能卡、DVD、CD或其它可拆卸存儲裝置、或傳輸裝置)上編入具有計算機可讀程序代碼的任何所得程序，從而形成根據(jù)本發(fā)明的計算機程序產(chǎn)品或制品。同樣，本文所用的術(shù)語“制品”和“計算機程序產(chǎn)
47品”旨在涵蓋永久或臨時位于任何計算機可用介質(zhì)上或傳輸該程序的傳輸介質(zhì)中的計算機程序。 上文對于本發(fā)明的各種實施例的描述，其目的在于進行舉例說明和描述，并非意圖窮舉本發(fā)明或?qū)⒈景l(fā)明局限于所公開的精確形式?？梢园凑丈鲜鼋虒?dǎo)進行多種修改和變化。例如，本發(fā)明的實施例可以在許多種應(yīng)用中得以實施。
權(quán)利要求
1.一種計算機實施方法，其包括使用實驗內(nèi)容進行實驗以確定通信內(nèi)容的有效性；和當(dāng)進行所述實驗時，使用機器學(xué)習(xí)程序(MLR)內(nèi)容執(zhí)行MLR以提高有效性尺度。
2.根據(jù)權(quán)利要求1所述的方法，其中所述實驗為因果實驗。
3.根據(jù)權(quán)利要求1所述的方法，其中所述實驗為準實驗。
4.根據(jù)權(quán)利要求1所述的方法，其中所述實驗為相關(guān)性設(shè)計。
5.根據(jù)權(quán)利要求1所述的方法，其中所述實驗確保所述通信內(nèi)容的實驗內(nèi)容不會混淆。
6.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)計劃表進行所述實驗，并且所述機器學(xué)習(xí)程序配合所述計劃表執(zhí)行。
7.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)包括多個時間段的計劃表進行所述實驗，并且未用于進行所述實驗的所述時間段中的至少一些用于所述機器學(xué)習(xí)程序。
8.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)包括多個時間段的計劃表來實施所述實驗和所述機器學(xué)習(xí)程序，使用第一多個時間段來實施所述實驗并且使用與所述第一多個時間段交叉的第二多個時間段來實施所述機器學(xué)習(xí)程序。
9.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)包括多個時間段的計劃表來實施所述實驗和所述機器學(xué)習(xí)程序，使用具有多個部分的相同時間段來實施所述實驗和所述機器學(xué)習(xí)程序中的每一個的至少一部分，并且實驗內(nèi)容和MLR內(nèi)容為不相關(guān)的。
10.根據(jù)權(quán)利要求1所述的方法，其包括在顯示器上同時顯示實驗內(nèi)容和MLR內(nèi)容，其中所述實驗內(nèi)容和MLR內(nèi)容為不相關(guān)的。
11.根據(jù)權(quán)利要求1所述的方法，其中根據(jù)計劃表進行所述實驗，并且進行所述實驗包括按照一定方式將通信內(nèi)容分配到所述計劃表的時隙樣本以確保所述通信內(nèi)容的實驗內(nèi)容不會混淆。
12.根據(jù)權(quán)利要求1所述的方法，其中所述機器學(xué)習(xí)程序包括強化學(xué)習(xí)程序、邏輯回歸程序、無監(jiān)督學(xué)習(xí)程序、半監(jiān)督學(xué)習(xí)程序、或者一個或多個神經(jīng)網(wǎng)絡(luò)的使用。
13.根據(jù)權(quán)利要求1所述的方法，其中所述機器學(xué)習(xí)程序包括強化學(xué)習(xí)程序，所述強化學(xué)習(xí)程序包括與探索內(nèi)容相關(guān)的探索程序以及與開發(fā)內(nèi)容相關(guān)的開發(fā)程序；并且根據(jù)包括多個時間段的計劃表進行所述實驗，將未用于進行所述實驗的第一多個時間段用于所述探索程序并且將未用于進行所述實驗的第二多個時間段用于所述開發(fā)程序。
14.根據(jù)權(quán)利要求13所述的方法，其包括識別用于顯示所述探索內(nèi)容和所述開發(fā)內(nèi)容的頻率，以提高預(yù)定有效性尺度。
15.根據(jù)權(quán)利要求1所述的方法，其包括執(zhí)行實驗以區(qū)別使用所述MLR揭示的相關(guān)性為偽相關(guān)還是因果關(guān)系。
16.根據(jù)權(quán)利要求1所述的方法，其中所述機器學(xué)習(xí)程序包括強化學(xué)習(xí)程序，所述強化學(xué)習(xí)程序包括與探索內(nèi)容相關(guān)的探索程序以及與開發(fā)內(nèi)容相關(guān)的開發(fā)程序中的一者或兩者；根據(jù)包括多個時隙樣本的計劃表進行所述實驗；對于與探索或開發(fā)內(nèi)容任一者相關(guān)的實驗內(nèi)容，將未用于進行所述實驗的第一多個時隙樣本用于所述探索或開發(fā)程序；并且對于與探索或開發(fā)內(nèi)容任一者不相關(guān)的實驗內(nèi)容，在具有所述多個時隙樣本的相同時隙樣本內(nèi)使用所述實驗內(nèi)容中的至少一些以及探索和開發(fā)內(nèi)容的任一者。
17.根據(jù)權(quán)利要求16所述的方法，其包括生成所述時隙樣本，其包括 定義目標觀察者在要呈現(xiàn)內(nèi)容的位置處花費的觀察者訪問持續(xù)時間(VVD)；定義用于目標觀察者在其訪問所述位置期間可影響的所關(guān)注數(shù)據(jù)流的數(shù)據(jù)采集的時間間隔(Tl)；使用VVD和TI確定時隙樣本持續(xù)時間(TSSD)；以及生成所述時隙樣本，所述時隙樣本各具有由所述TSSD定義的持續(xù)時間和針對所述 TSSD的至少一部分定義的數(shù)據(jù)采集時間段。
18.根據(jù)權(quán)利要求17所述的方法，其中使用具有第一持續(xù)時間的第一VVD生成第一多個時隙樣本以及使用具有不同于所述第一持續(xù)時間的第二持續(xù)時間的第二 VVD生成第二多個時隙樣本，并且基于所述第一和第二 WD中的每一個來確定TI、TSSD、和數(shù)據(jù)采集時間段。
19.根據(jù)權(quán)利要求1所述的方法，其包括執(zhí)行評價以對于任何給定時間段來確定對于所述時間段使用實驗內(nèi)容是否比使用MLR內(nèi)容有更大的價值。
20.根據(jù)權(quán)利要求1所述的方法，其包括接收(a)所述實驗假設(shè)的值、(b)每類有效性尺度的值、(c)每個商業(yè)目標的VVD、(d) 內(nèi)容限制條件、以及(e)緊迫性信息中的一者或多者；和根據(jù)(a)到(e)中的一者或多者來生成用于實施所述實驗和機器學(xué)習(xí)程序的計劃表。
21.根據(jù)權(quán)利要求20所述的方法，其包括基于時間和顯示位置不斷調(diào)整所述計劃表以最大化至少一個有效性尺度。
22.根據(jù)權(quán)利要求1所述的方法，其包括分析表征用于所述機器學(xué)習(xí)程序的MLR內(nèi)容有效性的測定數(shù)據(jù)，并且將所述測定數(shù)據(jù)存儲在歷史數(shù)據(jù)庫中。
23.根據(jù)權(quán)利要求1所述的方法，其包括產(chǎn)生輸出數(shù)據(jù)，所述輸出數(shù)據(jù)表征基于時段和顯示位置中的一者或兩者的每條MLR內(nèi)容的投資回報率。
24.一種計算機實施方法，其包括生成多個彼此不相關(guān)的計劃表并且每個所述計劃表包括用于呈現(xiàn)內(nèi)容和采集表征內(nèi)容有效性的數(shù)據(jù)的多個時間段；以及使用包括多個地理學(xué)上不同的顯示器和所述多個計劃表的數(shù)字標牌網(wǎng)絡(luò)以進行 使用所述多個計劃表中的至少兩者同時進行至少兩個關(guān)于通信內(nèi)容有效性的因果實驗以確保所述通信內(nèi)容的實驗內(nèi)容不混淆；使用所述多個計劃表的至少兩者同時執(zhí)行至少兩個使用機器學(xué)習(xí)程序(MLR)內(nèi)容的 MLR以提高預(yù)定商業(yè)目的；或使用所述多個計劃表的至少兩者進行因果實驗中的至少一個并同時執(zhí)行所述機器學(xué)習(xí)程序中的至少一個。
25.根據(jù)權(quán)利要求M所述的方法，其中所述多個計劃表的每一個至少由下述定義 目標觀察者在要呈現(xiàn)內(nèi)容的位置處花費的觀察者訪問持續(xù)時間(VVD)；目標觀察者在其訪問所述位置期間可影響的所關(guān)注數(shù)據(jù)流的數(shù)據(jù)采集的時間間隔(Tl)；使用VVD和TI的時隙樣本持續(xù)時間(TSSD)；和針對所述TSSD的至少一部分定義的數(shù)據(jù)采集時間段。
26.根據(jù)權(quán)利要求M所述的方法，其中VVD、TI、TSSD、和數(shù)據(jù)采集時間中的至少一者在所述多個計劃表中為不同的。
27.根據(jù)權(quán)利要求M所述的方法，其中VVD、TI、TSSD、和數(shù)據(jù)采集時間中的每一個在所述多個計劃表中為不同的。
28.一種計算機實施方法，其包括接收觀察者在要呈現(xiàn)內(nèi)容的位置處花費的觀察者訪問持續(xù)時間(VVD)；部分地基于所述VVD和有效性尺度，生成包括多個用于實施機器學(xué)習(xí)程序(MLR)的時間段的計劃表。和根據(jù)所述計劃表使用包括多個地理學(xué)上不同的顯示器的數(shù)字標牌網(wǎng)絡(luò)來執(zhí)行與MLR 內(nèi)容相關(guān)的所述機器學(xué)習(xí)程序以確定所述MLR內(nèi)容的有效性。
29.根據(jù)權(quán)利要求觀所述的方法，其包括基于各顯示器顯示各條MLR內(nèi)容的時間和顯示位置不斷調(diào)整所述計劃表以最大化至少一個有效性尺度。
30.根據(jù)權(quán)利要求觀所述的方法，其中所述機器學(xué)習(xí)程序包括強化學(xué)習(xí)程序，所述強化學(xué)習(xí)程序包括與探索內(nèi)容相關(guān)的探索程序以及與有開發(fā)內(nèi)容相關(guān)的開發(fā)程序中的一者或兩者。
31.根據(jù)權(quán)利要求30所述的方法，其包括基于約束在所述探索程序和所述開發(fā)程序的執(zhí)行之間隨機選擇，所述約束為以預(yù)定方式管理分配用于運行所述探索和開發(fā)程序中的每一個的總時間。
32.根據(jù)權(quán)利要求觀所述的方法，其包括采集關(guān)于MLR內(nèi)容有效性的數(shù)據(jù)，并且將所述采集數(shù)據(jù)存儲在歷史數(shù)據(jù)庫中。
33.根據(jù)權(quán)利要求32所述的方法，其包括部分地基于存儲在所述歷史數(shù)據(jù)庫中的所述采集數(shù)據(jù)，將MLR內(nèi)容分配到所述計劃表的時間段以生成調(diào)整的計劃表；以及根據(jù)所述調(diào)整的計劃表將所述分配MLR內(nèi)容分配到所述顯示器。
34.一種計算機實施方法，其包括執(zhí)行評價以對于任何給定時間段來確定對于所述時間段使用實驗內(nèi)容是否比使用MLR 內(nèi)容具有更大的價值；以及基于所述評價結(jié)果將實驗內(nèi)容或MLR內(nèi)容分配到所述時間段。
35.一種計算機實施方法，其包括接收根據(jù)包括多個時隙樣本的計劃表采集的數(shù)據(jù)；以及使用從時隙樣本內(nèi)采集的內(nèi)容執(zhí)行機器學(xué)習(xí)程序(MLR)以提高有效性尺度。
36.根據(jù)權(quán)利要求35所述的方法，其中使用實驗來采集所述數(shù)據(jù)。
37.根據(jù)權(quán)利要求35所述的方法，其中使用在所述實驗中識別的內(nèi)容來執(zhí)行所述MLR。
38.根據(jù)權(quán)利要求34所述的方法，其包括在確定應(yīng)運行的實驗之后，使用實驗內(nèi)容進行實驗以確定通信內(nèi)容的有效性；以及在進行所述實驗時使用MLR內(nèi)容執(zhí)行機器學(xué)習(xí)程序(MLR)以提高有效性尺度。
全文摘要
本發(fā)明涉及用于評價通信內(nèi)容的有效性和優(yōu)化內(nèi)容分配以提高商業(yè)目標的系統(tǒng)、制品、和計算機實施方法。本發(fā)明的實施例涉及用于計算機實施方法的計算機實施方法，其包括使用實驗內(nèi)容進行實驗以確定通信內(nèi)容有效性以及在進行所述實驗時使用機器學(xué)習(xí)程序(MLR)內(nèi)容執(zhí)行MLR以提高有效性尺度。
文檔編號G06Q30/00GK102341820SQ201080011007
公開日2012年2月1日 申請日期2010年1月4日 優(yōu)先權(quán)日2009年1月7日
發(fā)明者喬納森·B·阿瑟, 克雷格·G·馬克爾, 布賴恩·E·布魯克斯, 布賴恩·J·斯坦凱維奇, 布賴恩·L·林齊 申請人:3M創(chuàng)新有限公司