4.AffS將數(shù)據(jù)存儲到HDFS中。
[0107]805.HDFS機器從云獲取合適的數(shù)據(jù)。
[0108]806.HDFS將結果寫回到云中。
[0109]調用應用程序編程接口報告模塊308可以報告可用的結果。
[0110]廣告請求的地理分布和每個站點請求的印象可以按照以下方式計算:應用程序編程接口報告器通過從云接收來獲取如果本地不存在的數(shù)據(jù)。
[0111]圖4示出了視頻廣告插頁系統(tǒng)的示例性基礎架構，視頻廣告使用例如此前描述的出價交換技術插入到用戶正在瀏覽的內容中。為了清楚的目的，圖4中僅描繪了幾個操作細節(jié)。從圖4的左到右，視頻播放器402 (例如，在用戶裝置中)使用協(xié)議404與廣告服務器202通信。參見圖4，用戶裝置上的視頻播放器402接收VAST格式的廣告信息404。視頻播放器402可以發(fā)布請求到廣告服務子系統(tǒng)(例如，廣告服務器202)。視頻播放器402可以是插件或獨立應用程序。廣告的一個實例可以是預卷廣告。視頻播放器請求可以用站點分配識別來自己識別，廣告服務系統(tǒng)通過站點分配識別知道視頻播放器的位置。這可以實施為具體數(shù)字(例如，12345-理解為站點分配ID)。站點分配ID由公共服務系統(tǒng)提供給控制視頻播放器的發(fā)布者。發(fā)布者然后被提供VAST文件。它包含有關待發(fā)出(fire)的印象像素的信息等。典型的VAST文件可以跨過2-5個互聯(lián)網協(xié)議(IP)數(shù)據(jù)包。實時廣告服務(RTAS)可以由廣告服務器系統(tǒng)內的子系統(tǒng)提供并且提供這種VAST文件。廣告服務器系統(tǒng)還包括一個或多個內側處理引擎(MHE)。每個MHE處理前往系統(tǒng)的一部分負載。
[0112]RTAS可以利用負載平衡技術使用MHE，例如輪詢。RTAS和MHE可以在不同幾何位置的相同幾何位置處在相同平臺、不同平臺上實施。
[0113]MHE接收排列項的列表、來自IP地址的地理位置、裝置看某些廣告的頻率等，信息包括在從視頻播放器裝置接收的數(shù)據(jù)中。廣告服務器模塊也具有通往配置文件的入口，所述配置文件指定排列項屬性以及它們應當如何定向等。
[0114]在每個MHE內，MHE基于排列項進行拍賣。拍賣的結果返回為兩個價格。第一價格拍賣-接收來自5個競拍者的出價-他們給出價格-你選擇你最好的價格。第二價格拍賣-競拍者給出出價并且他們會給出最大出價。勝者將會比其他人出價的最大值或最大出價高一美分。RTAS收集來自所有MHE的兩種價格，然后給出最終出價價格。勝者和出價價格將寫入出價文件中。MHE現(xiàn)在生成視頻播放器識別的并且根據(jù)勝出出價的VAST文件。此VAST文件傳遞到RTAS(何時發(fā)出哪個印象等)。
[0115]印象像素-出價不足以知道是否應當支付廣告平臺。視頻播放器，在合適的時間，發(fā)出印象像素，這向廣告系統(tǒng)指明在實際消費廣告。何時且何處插入印象像素可以由廣告客戶確定或者也可以利用互聯(lián)網元數(shù)據(jù)由廣告平臺輔助。
[0116]BRX服務器404接收印象，解析印象并且基于解析的印象生成日志文件。印象是無狀態(tài)的。
[0117]日志文件的相關性是重要的方面。例如，該系統(tǒng)可以接收沒有出價的印象。這些可以指出例如系統(tǒng)中發(fā)生的一些類型的欺詐或其他錯誤?；蛘呖梢杂杏∠蟮囊馔鈴椭啤＠?，可以有沒有印象的出價(例如，用戶關閉視頻播放器)，這可以意味著未出價。
[0118]每個模塊可以包括文檔過程。文件每15分鐘輪換一次。文檔過程將文件上傳到云。每個文件的大小可以在10Mb至200Mb的范圍內。文檔過程發(fā)送消息到登記220框，以指示文檔過程已經完成其歸檔工作。文檔過程還發(fā)送消息到屏蔽框，消息列出了上傳的文件。在一些實施方式中，僅當磁盤上不存在文件時(意味著沒有上傳到云)，消息直接發(fā)送到登記框。當所述框閑置并且未處于輪換/活動業(yè)務時，常發(fā)生這種現(xiàn)象。否則，消息發(fā)送到屏蔽分配器框。在分配器完成列舉/映射該文件中的ID時，發(fā)送消息以登記發(fā)送消息的主機信息。屏蔽框建立分離工作的一堆輸出消息。例如，對于排列項，這里有15個輸出信息。對于排列項而言，另外某些地方有100個輸出信息。對于每個排列項而言，具體指令可以提供有關需要完成什么，例如在指令上可以計算具體的排列項的所有印象。
[0119]執(zhí)行的一個任務可以是消息的去重復。例如，15個廣告服務器框均可以接收來自每個廣告服務器站點的響應?？梢匀ブ貜蜕锨€消息以去除相同的重復實體。對每個框執(zhí)行檢查以查看是否已經檢查該框。一旦所有消息已經去重復并且已經檢查完所有機器，發(fā)出開始消息(屏蔽過程)。去重復可以僅接觸元數(shù)據(jù)，不接觸日志文件本身。例如，在給定時間，可以在系統(tǒng)中使用I萬個排列項。消息可以是“處理此間隔的這個排列項”、“處理此視頻的所有印象”等的類型。
[0120]BRX日志模塊接收來自旁邊過程框的消息。負載平衡器可以提供從BRX過程到BRX日志傳播的任務的負載平衡。例如，每15分鐘，BRX日志可以在10Mb數(shù)據(jù)上進行10次不同的查詢。BRX日志生成結果(例如，1-150個排列項)的CSV或SQL文件。排列項可以具有與其關聯(lián)的一個或多個創(chuàng)新。可以每15分鐘每個排列項產生日志文件。在網絡中，可以接收I億-2億個響應。
[0121]BRX日志本身訪問云服務以接收廣告遞送數(shù)據(jù)文件。云基礎架構可以用于確保文件寬泛的地理可用性，在云中具有可用的備份副本。BRX日志可以以每天處理100GB的速率生成文件。來自計算的結果可以很小(幾百兆字節(jié))，但是因此需要在緊湊的時間表中處理大量數(shù)據(jù)(例如，每次15分鐘，或者輪換文件的時間段)。
[0122]在一個示例性方面，提供了操作視頻廣告系統(tǒng)的方法。所述方法包括控制廣告服務器，該廣告服務器被配置成接收來自多個觀看裝置的多個廣告請求，提供多個廣告響應到多個觀看裝置，生成包括有關遞送廣告到多個觀看裝置的信息的廣告遞送數(shù)據(jù)文件，并且復制廣告遞送數(shù)據(jù)文件到分布式計算云。所述方法還包括控制廣告數(shù)據(jù)基礎架構機構以復制云端廣告遞送數(shù)據(jù)文件到本地存儲器中，使用多個廣告響應處理復制的廣告遞送數(shù)據(jù)文件，以生成包括有關分配廣告的信息的第一記賬數(shù)據(jù)。所述方法進一步包括控制廣告數(shù)據(jù)基礎架構機構以接收來自廣告服務器的配置文件，驗證在第一記賬數(shù)據(jù)的生成中使用來自廣告服務器的配置文件中的所有項目，并且從第一記賬數(shù)據(jù)中去除不可驗證的項目以生成最終的記賬數(shù)據(jù)。
[0123]在一個示例性方面，提供了操作視頻廣告系統(tǒng)的方法。所述方法包括控制廣告服務器，該廣告服務器被配置成接收來自多個觀看裝置的多個廣告請求，提供多個廣告響應到多個觀看裝置，生成包括有關遞送廣告到多個觀看裝置的信息的廣告遞送數(shù)據(jù)文件，并且復制廣告遞送數(shù)據(jù)文件到分布式計算云。所述方法還包括控制廣告數(shù)據(jù)基礎架構機構以復制云端廣告遞送數(shù)據(jù)文件到本地存儲器中，使用多個廣告響應處理復制的廣告遞送數(shù)據(jù)數(shù)據(jù)文件，以生成包括有關分配廣告的信息的第一記賬數(shù)據(jù)。所述方法進一步包括控制廣告數(shù)據(jù)基礎架構機構以接收來自廣告服務器的配置文件，驗證在第一記賬數(shù)據(jù)的生成中使用來自廣告服務器的配置文件中的所有項目，并且從第一記賬數(shù)據(jù)中去除不可驗證的項目以生成最終的記賬數(shù)據(jù)。
[0124]圖5是操作數(shù)字媒體廣告系統(tǒng)的過程500的流程圖。
[0125]在502中，從多個廣告服務器接收多個文件，每個文件包括多個排列項，其中每個排列項與廣告遞送實例對應。
[0126]在504中，多個文件通過由居中加載平衡器分開的多個處理階段的流水線，其中每個處理階段通過從云服務中讀取來接收其輸入數(shù)據(jù)，并且每個處理階段將其輸出數(shù)據(jù)寫入到云服務中。在每個處理階段中，處理任務在多個硬件平臺之間共享，共享基于對應的輸入數(shù)據(jù)的邏輯分區(qū)。
[0127]在一些實施方式中，比從多個ad服務器接收多個文件之后的目標時間間隔(例如15分鐘)期滿提前凈間隔(headroom interval，例如5分鐘)在目標時間間隔(例如，15分鐘)過期前或在接收來自多個廣告服務器的多個文件后的空頭間隔(例如，5分鐘)，生成處理多個文件的結果。早多少的度量(例如，比15分鐘預算早5分鐘)用于測量系統(tǒng)上的負載，并且因此控制分配給多個階段的流水線的資源。
[0128]本文中描述的公開的其他實施例和功能操作及模塊可以在數(shù)字電子電路、或計算機軟件、固件或硬件中實施，包括本文公開的結構以及它們的結構等同形式，或者它們的一個或多個的組合。公開的其他實施例可以實施為一個或多個計算機程序產品，即，編碼在計算機可讀介質上由數(shù)據(jù)處理裝置執(zhí)行或控制數(shù)據(jù)處理裝置操作的計算機程序指令的一個或多個模塊。計算機可讀介質可以是計算機可讀存儲裝置、計算機可讀存儲基板、存儲裝置、影響計算機可讀傳播信號的事物的組合或者它們的一個或多個的組合。術語“數(shù)據(jù)處理裝置”包含所有用于處理數(shù)據(jù)的設備、裝置和機器，包括，舉例來說，可編程處理器、計算機或多個處理器或計算機。所述設備可以包括，除硬件之外，建立用于討論中的計算機程序的執(zhí)行環(huán)境的代碼，例如，構成處理器固件、協(xié)議棧、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)或它們的一個或多個的組合的代碼。傳播信號是人工生成的信號，例如，生成以編碼用于傳輸?shù)胶线m的接收設備的信息的計算機生成的電信號、光信號或電磁信號。
[0129]計算機程序(也稱為程序、軟件、軟件應用、腳本或代碼)可以寫成任何形式的編程語言，包括編譯或解釋語言，并且可以配置成任何形式，包括作為單獨的程序或模塊、組件、子程序或適合在計算環(huán)境中使用的其他單元。計算機程序未必與文件系統(tǒng)中的文件對應。程序可以存儲在容納其他程序或數(shù)據(jù)(例如，存儲在標記語言文件中的一個或多個腳本)的文件的一部分中，存儲在討論中的程序專用的單個文件中，或者存儲在多個協(xié)調文件(例如，存儲一個或多個模塊、子程序或代碼的部分的文件)中。計算機程序可以被配置成在一個計算機或多個計算機上執(zhí)行，這些計算機位于一個站點或者分布在多個站點中并且與通信網絡互聯(lián)。
[0130]本文中描述的過程和邏輯流可以由一個或多個可編程處理器執(zhí)行，所述可編程處理器執(zhí)行一個或多個計算機程序以通過操作輸入數(shù)據(jù)并且生成輸出來執(zhí)行功能。過程和邏輯流也可以由設備來執(zhí)行，所述設備也可以實