征的方法。每個單個數(shù)據(jù)輸入與一個或多個抽取器200相關(guān)聯(lián)。從每個單個數(shù)據(jù)輸入抽取的特征能被直接轉(zhuǎn)發(fā)至下一階段或去重復(fù)并被緩存至本地的、暫時性的特征庫400中。這些暫時性的特征庫400組成了本地的從該相關(guān)聯(lián)的數(shù)據(jù)輸入110得到的知識。
[0030]特征抽取器200從相關(guān)聯(lián)的數(shù)據(jù)輸入115抽取特征并且將該特征編碼為預(yù)定義的格式。更具體的，通過數(shù)據(jù)類型特定的組件解碼被攝取的數(shù)據(jù)，以及從數(shù)據(jù)記錄中抽取期望的信息。每條信息都被轉(zhuǎn)換(基于領(lǐng)域知識)為鍵-值對(key-value pair)。此外，時間戳(TS)能被附加至每個鍵-值對，特征標(biāo)識符包含在該鍵內(nèi)。每個鍵-值對進(jìn)而被編碼進(jìn)該實現(xiàn)所定義的格式中，用該編碼的鍵作為K，用該編碼的值作為V。
[0031]如圖2所示，特征抽取器200被初始化并且從本地文件和/或從注冊服務(wù)器讀取配置信息，并獲取數(shù)據(jù)源110和收集器300的位置信息。在步驟205中，該特征抽取器200連接至配置的收集器300，然后在步驟210中連接至配置的數(shù)據(jù)源110。
[0032]在步驟215中，該特征抽取器200傾聽和接收來自數(shù)據(jù)源110的記錄。在步驟220中解析和驗證接收到的記錄。在步驟230中，向該配置的和連接的收集器300提交該抽取的特征，然后返回傾聽步驟215。
[0033]特征聚合
[0034]在特征抽取后，使用一個或多個特征收集器300，在不同的抽取器中聚合本地知識以形成全局觀點(global view)。每個收集器300將多個抽取器200抽取的特征作為輸入并且通過去重任何冗余特征而聚合該結(jié)果。在每個收集器300維持一個本地特征庫400，以存儲該從所有輸入源得到的、去重的知識。以與抽取器200同樣的方式，收集器300能夠可選的將新值轉(zhuǎn)發(fā)至一個或多個其他收集器300，為了可伸縮性的目的允許層級結(jié)構(gòu)(例如樹)。
[0035]圖3A是描述了采用本發(fā)明各個方面的特征收集器300的示范性實施方式流程圖。通常的，如下面所討論的，收集器300負(fù)責(zé)聚合通過多個收集器200 (或?qū)Φ鹊氖占?00)所供給的特征并對該輸入中的任何冗余進(jìn)行去重。
[0036]如圖3A所示，在步驟305中初始化特征收集器300，其中通過讀配置的特征庫400和/或從這個收集器300接收的其它收集器300來初始化該特征收集器300。在步驟310中，用注冊服務(wù)器500注冊該特征收集器300的收集器實例，使得客戶機(jī)能夠找到它
[0037]在步驟315中，該特征收集器300進(jìn)入傾聽模式以從客戶機(jī)接收新的特征。在步驟320中，該特征收集器300同時接收并且正規(guī)化(normalize)來自多個客戶機(jī)的特征，并在步驟325中解析和驗證接收到的特征。
[0038]在步驟330中，該特征收集器300轉(zhuǎn)發(fā)特征至所有配置的特征庫400 (對每個特征庫400使用寫操作)以及所有配置的收集器300。在步驟335中，該特征收集器300清除并返回至步驟315以傾聽新的客戶請求。
[0039]對于新到達(dá)的特征值對K-V (通過時間戳TS關(guān)聯(lián)的)，收集器300實現(xiàn)了圖3B所示的步驟。值得注意的是每個寫入至本地特征庫400的元組{K ; (TS ;V)}還被轉(zhuǎn)發(fā)至該層級中的指定收集器300。如圖3B所示，鍵K被用于在鍵/值類型數(shù)據(jù)庫中查找記錄。如果查找失敗，則該鍵K和值V就是新的。在數(shù)據(jù)庫中寫入一條鍵為K、值為{TS，V}的新記錄。否則，查找該記錄以確定該記錄中是否已經(jīng)存在V。如果該記錄中不存在V，就將{TS，V}添加至該記錄并存儲在該數(shù)據(jù)庫中，并且轉(zhuǎn)發(fā)K+ITS，V}至該定義的收集器300。
[0040]此外，將時間戳TS與已經(jīng)與V相關(guān)聯(lián)的時間戳相比較。如果該新的時間戳TS早于該先前的時間戳，就將該新的時間戳TS放置在該帶有V的記錄中，并且在數(shù)據(jù)庫中更新該記錄以及轉(zhuǎn)發(fā)K+ITS，V}至該定義的收集器300。
[0041]在特征存儲器層140的層級底部，一個或多個收集器300被指定為根收集器300，其為所收集的特征提供永久存儲，以及為了訪問該信息提供查詢服務(wù)(QS)600。
[0042]特征庫
[0043]每個桶(bucket)中的特征值被當(dāng)作數(shù)學(xué)集合。所有這樣的集合在一起形成特征庫(FS) 400。使用數(shù)學(xué)集合聚合特征允許攝取數(shù)據(jù)而不考慮它們的時間順序，這有利于分布式環(huán)境。進(jìn)而，該數(shù)學(xué)集合能夠在不同點及時的進(jìn)行不同數(shù)據(jù)輸入的合并。
[0044]在示范性實施中，特征庫400實現(xiàn)在C中并利用定制的鍵/值庫作為基礎(chǔ)的存儲機(jī)制。用鍵/值對其自身來表示特征。鍵和值兩者能以特定于實現(xiàn)的編碼方式(encoding)被編碼。通過在整個系統(tǒng)100中使用該編碼方式，鍵和值能被不同組件處理，而無需理解編碼數(shù)據(jù)的細(xì)節(jié)。
[0045]特征庫管理器為向庫添加新特征以及從該庫查詢信息提供API。這些操作都是異步的(也就是工作被排隊)。此外，該特征庫管理器為特征訂閱服務(wù)(SS) 700提供框架。
[0046]圖4A示出了采用本發(fā)明各個方面的示范性的特征庫400。如圖4A所示，該示范性的特征庫400包括分別存儲一組值Val，Va2,…，以及Vbl，Vb2,…，的多數(shù)個桶410-A，410-B。每個桶410-A，410-B通過對應(yīng)的鍵420-A，420-B分別被唯一的識別。如下面結(jié)合圖4B所進(jìn)一步討論的，使用寫過程450向特征庫400寫入值，并且，如下面結(jié)合圖4C所進(jìn)一步討論的，使用讀過程480從該特征庫400中讀取值。
[0047]圖4B是描述了采用本發(fā)明方面的寫過程450的示范性實現(xiàn)的流程圖?？偟膩碚f，寫過程向特征庫400寫入鍵-值對(k，v)。如圖4B所示，在步驟460中，寫過程450首先獲取與鍵K相關(guān)聯(lián)的值的桶。此后，在步驟465中實施測試以確定‘V’是否已經(jīng)存在于桶中。如果在步驟465中確定‘V’未存在于桶中，就在步驟470中將V附加至桶，移除客戶機(jī)信息并在步驟475中返回。但是，如果在步驟465中確定‘V’已經(jīng)存在于桶中，則在步驟475中返回。
[0048]圖4C描述了采用本發(fā)明方面的讀過程480的示范性實現(xiàn)的流程圖?？偟膩碚f，讀過程從特征庫400讀鍵值(K)。如圖4C所示，在步驟490中，獲取與鍵K相關(guān)聯(lián)的值的桶(BV)并在步驟495中返回值。
[0049]通過示范性的特征庫400寫入值的順序不會有影響(從而適應(yīng)現(xiàn)場的和歷史的數(shù)據(jù))。此外，該示范性的特征庫400實施數(shù)據(jù)去重和流動(streaming)并提供分布式的I/O-存儲和計算。
[0050]灃冊服備器
[0051]如在下面分別結(jié)合圖5A和圖5B所進(jìn)一步討論的，該示范性的注冊服務(wù)器500包括查詢服務(wù)器注冊過程510以及客戶機(jī)查詢服務(wù)器發(fā)現(xiàn)過程550?？偟膩碚f，注冊服務(wù)器500提供用于定位服務(wù)的注冊服務(wù)(RS)。在一個示范性的實現(xiàn)中，在系統(tǒng)100的每個節(jié)點中具有注冊服務(wù)器500。該本地注冊服務(wù)器500只包含關(guān)于只在本地節(jié)點上可用的服務(wù)的信息。這使得即使在該節(jié)點臨時變得隔離或脫離時，本地包含的操作也能運行。全局信息被轉(zhuǎn)發(fā)至一組全局注冊服務(wù)器500。實際的轉(zhuǎn)發(fā)可交給本地注冊服務(wù)器500，該本地注冊服務(wù)器負(fù)責(zé)確保該信息最終到達(dá)全局服務(wù)器500。
[0052]注冊信息包括一組鍵/值對。下面的例子示出了區(qū)域rex中存在的用于數(shù)據(jù)類型DNS的(具有標(biāo)識符tap I的)竊聽服務(wù)(tap service)，其服務(wù)接口傾聽10.10.0.5:55000:
[0053]，class = tap, type = dns, zone = rex, tap id = tap I,
[0054]address = 10.10.0.5, port = 55000’
[0055]對注冊服務(wù)器500的查詢提供鍵/值的一些子集，并返回所有匹配的條目。因此，對
[0056]，class = tap, type = dns, zone = rex, tap id = tapl，
[0057]的查詢會匹配上面的內(nèi)容并返回所有值。這種功能還用于定位特征可能位于哪里。
[0058]圖5A是描述了采用本發(fā)明方面的查詢服務(wù)器注冊過程510的示范性實現(xiàn)的流程圖。在步驟515中，查詢服務(wù)器注冊過