本技術(shù)涉及a/b測(cè)試，尤其涉及一種樣本比例不匹配問(wèn)題的檢測(cè)方法、裝置、介質(zhì)及相關(guān)設(shè)備。

背景技術(shù)：

1、在a/b測(cè)試領(lǐng)域，即對(duì)照實(shí)驗(yàn)中，一個(gè)常見(jiàn)的挑戰(zhàn)是如何確保實(shí)驗(yàn)的兩個(gè)版本或組別之間用戶(hù)特征分布的一致性。目前，在傳統(tǒng)的a/b測(cè)試實(shí)踐中，當(dāng)實(shí)驗(yàn)組與對(duì)照組之間的觀測(cè)數(shù)據(jù)呈現(xiàn)顯著差異時(shí)，研究人員往往擔(dān)心這一差異可能并非由于實(shí)驗(yàn)變化本身引起，而是由于樣本比例不匹配（sample?ratio?mismatch，簡(jiǎn)稱(chēng)srm）的影響。

2、srm問(wèn)題的出現(xiàn)在不少情況下是由于用戶(hù)特征分配不一致所導(dǎo)致的。傳統(tǒng)的處理方式通常依賴(lài)于專(zhuān)業(yè)的數(shù)據(jù)分析師針對(duì)不同的具體場(chǎng)景進(jìn)行深入分析，通過(guò)一系列統(tǒng)計(jì)檢驗(yàn)來(lái)判定srm問(wèn)題的存在及影響程度。

3、然而，隨著數(shù)據(jù)規(guī)模和實(shí)驗(yàn)復(fù)雜性的增加，這種依賴(lài)人工分析的方法越來(lái)越顯示出其局限性，包括分析效率低下、無(wú)法實(shí)時(shí)響應(yīng)以及過(guò)度依賴(lài)分析師的主觀判斷等。因此，亟需一種能夠自動(dòng)、快速地進(jìn)行srm問(wèn)題的分析和判斷的檢測(cè)方法。

技術(shù)實(shí)現(xiàn)思路

1、本技術(shù)的目的旨在至少能解決上述的技術(shù)缺陷之一，特別是現(xiàn)有技術(shù)中判定srm問(wèn)題的存在及影響程度時(shí)依賴(lài)人工進(jìn)行分析，從而導(dǎo)致分析效率低下、耗時(shí)較長(zhǎng)、無(wú)法實(shí)時(shí)響應(yīng)的技術(shù)缺陷。

2、本技術(shù)提供了一種樣本比例不匹配問(wèn)題的檢測(cè)方法，所述方法包括：

3、在對(duì)a/b實(shí)驗(yàn)進(jìn)行srm檢驗(yàn)時(shí)，獲取用戶(hù)輸入的進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息；

4、根據(jù)所述a/b實(shí)驗(yàn)信息評(píng)估使所述a/b實(shí)驗(yàn)出現(xiàn)srm問(wèn)題的目標(biāo)用戶(hù)特征，并獲取預(yù)設(shè)歷史時(shí)段內(nèi)參與所述a/b實(shí)驗(yàn)的用戶(hù)id數(shù)據(jù)集；

5、根據(jù)所述目標(biāo)用戶(hù)特征提取所述用戶(hù)id數(shù)據(jù)集中各個(gè)用戶(hù)id的特征數(shù)據(jù)，并對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分組和特征聚合后，得到依據(jù)所述目標(biāo)用戶(hù)特征在實(shí)驗(yàn)組中形成的第一聚合數(shù)據(jù)和在對(duì)照組中形成的第二聚合數(shù)據(jù)；

6、對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分析，并根據(jù)分析結(jié)果確定所述a/b實(shí)驗(yàn)是否出現(xiàn)srm問(wèn)題。

7、可選地，所述獲取用戶(hù)輸入的進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息，包括：

8、獲取用戶(hù)輸入的內(nèi)容信息；

9、對(duì)所述內(nèi)容信息進(jìn)行意圖識(shí)別，并根據(jù)識(shí)別結(jié)果確定所述內(nèi)容信息是否涉及srm檢驗(yàn)；

10、若是，則確定所述內(nèi)容信息是否包含進(jìn)行srm檢驗(yàn)的關(guān)鍵信息；

11、若包含，則將所述內(nèi)容信息作為進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息；

12、若不包含，則提示用戶(hù)補(bǔ)充，直到補(bǔ)充后的信息包含進(jìn)行srm檢驗(yàn)的關(guān)鍵信息為止；

13、若否，則引導(dǎo)用戶(hù)輸入進(jìn)行srm檢驗(yàn)的關(guān)鍵信息。

14、可選地，所述a/b實(shí)驗(yàn)信息至少包括實(shí)驗(yàn)背景和實(shí)驗(yàn)?zāi)繕?biāo)；

15、所述根據(jù)所述a/b實(shí)驗(yàn)信息評(píng)估使所述a/b實(shí)驗(yàn)出現(xiàn)srm問(wèn)題的目標(biāo)用戶(hù)特征，包括：

16、確定預(yù)設(shè)的用戶(hù)特征數(shù)；

17、根據(jù)所述實(shí)驗(yàn)背景和所述實(shí)驗(yàn)?zāi)繕?biāo)評(píng)估使所述a/b實(shí)驗(yàn)出現(xiàn)srm問(wèn)題的多個(gè)用戶(hù)特征；

18、從多個(gè)所述用戶(hù)特征中選取與所述用戶(hù)特征數(shù)對(duì)應(yīng)的目標(biāo)用戶(hù)特征。

19、可選地，所述獲取預(yù)設(shè)歷史時(shí)段內(nèi)參與所述a/b實(shí)驗(yàn)的用戶(hù)id數(shù)據(jù)集，包括：

20、獲取預(yù)設(shè)歷史時(shí)段內(nèi)參與所述a/b實(shí)驗(yàn)的多個(gè)用戶(hù)id；

21、確定多個(gè)所述用戶(hù)id的用戶(hù)數(shù)量是否超過(guò)預(yù)設(shè)數(shù)量閾值；

22、若超過(guò)，則對(duì)多個(gè)所述用戶(hù)id進(jìn)行數(shù)據(jù)采樣，并依據(jù)采樣后的用戶(hù)id構(gòu)建用戶(hù)id數(shù)據(jù)集；

23、若不超過(guò)，則直接依據(jù)多個(gè)所述用戶(hù)id構(gòu)建用戶(hù)id數(shù)據(jù)集。

24、可選地，所述對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分組和特征聚合后，得到依據(jù)所述目標(biāo)用戶(hù)特征在實(shí)驗(yàn)組中形成的第一聚合數(shù)據(jù)和在對(duì)照組中形成的第二聚合數(shù)據(jù)，包括：

25、根據(jù)各個(gè)特征數(shù)據(jù)對(duì)應(yīng)的用戶(hù)id，對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分組，得到實(shí)驗(yàn)組中的特征數(shù)據(jù)和對(duì)照組中的特征數(shù)據(jù)；

26、按照所述目標(biāo)用戶(hù)特征分別對(duì)所述實(shí)驗(yàn)組中的特征數(shù)據(jù)和所述對(duì)照組中的特征數(shù)據(jù)進(jìn)行特征聚合，得到依據(jù)所述目標(biāo)用戶(hù)特征在所述實(shí)驗(yàn)組中形成的第一聚合數(shù)據(jù)以及在所述對(duì)照組中形成的第二聚合數(shù)據(jù)。

27、可選地，所述對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分析，包括：

28、確定所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)的數(shù)據(jù)量；

29、根據(jù)所述數(shù)據(jù)量確定對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析時(shí)所使用的統(tǒng)計(jì)方法；

30、基于所述統(tǒng)計(jì)方法對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分析。

31、可選地，所述根據(jù)所述數(shù)據(jù)量確定對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析時(shí)所使用的統(tǒng)計(jì)方法，包括：

32、確定所述數(shù)據(jù)量是否大于預(yù)設(shè)數(shù)據(jù)量閾值；

33、若大于，則確定使用卡方校驗(yàn)對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析；

34、若不大于，則確定使用fisher精確檢驗(yàn)對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)進(jìn)行關(guān)聯(lián)性分析。

35、本技術(shù)還提供了一種樣本比例不匹配問(wèn)題的檢測(cè)裝置，包括：

36、實(shí)驗(yàn)信息獲取模塊，用于在對(duì)a/b實(shí)驗(yàn)進(jìn)行srm檢驗(yàn)時(shí)，獲取用戶(hù)輸入的進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息；

37、用戶(hù)數(shù)據(jù)獲取模塊，用于根據(jù)所述a/b實(shí)驗(yàn)信息評(píng)估使所述a/b實(shí)驗(yàn)出現(xiàn)srm問(wèn)題的目標(biāo)用戶(hù)特征，并獲取預(yù)設(shè)歷史時(shí)段內(nèi)參與所述a/b實(shí)驗(yàn)的用戶(hù)id數(shù)據(jù)集；

38、特征聚合模塊，用于根據(jù)所述目標(biāo)用戶(hù)特征提取所述用戶(hù)id數(shù)據(jù)集中各個(gè)用戶(hù)id的特征數(shù)據(jù)，并對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分組和特征聚合后，得到依據(jù)所述目標(biāo)用戶(hù)特征在實(shí)驗(yàn)組中形成的第一聚合數(shù)據(jù)和在對(duì)照組中形成的第二聚合數(shù)據(jù)；

39、關(guān)聯(lián)性分析模塊，用于對(duì)所述第一聚合數(shù)據(jù)和所述第二聚合數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分析，并根據(jù)分析結(jié)果確定所述a/b實(shí)驗(yàn)是否出現(xiàn)srm問(wèn)題。

40、本技術(shù)還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得一個(gè)或多個(gè)處理器執(zhí)行如上述實(shí)施例中任一項(xiàng)所述樣本比例不匹配問(wèn)題的檢測(cè)方法的步驟。

41、本技術(shù)還提供了一種計(jì)算機(jī)設(shè)備，包括：一個(gè)或多個(gè)處理器，以及存儲(chǔ)器；

42、所述存儲(chǔ)器中存儲(chǔ)有計(jì)算機(jī)可讀指令，所述計(jì)算機(jī)可讀指令被所述一個(gè)或多個(gè)處理器執(zhí)行時(shí)，執(zhí)行如上述實(shí)施例中任一項(xiàng)所述樣本比例不匹配問(wèn)題的檢測(cè)方法的步驟。

43、從以上技術(shù)方案可以看出，本技術(shù)實(shí)施例具有以下優(yōu)點(diǎn)：

44、本技術(shù)提供的樣本比例不匹配問(wèn)題的檢測(cè)方法、裝置、介質(zhì)及相關(guān)設(shè)備，在對(duì)a/b實(shí)驗(yàn)進(jìn)行srm檢驗(yàn)時(shí)，可以獲取用戶(hù)輸入的進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息，接著根據(jù)a/b實(shí)驗(yàn)信息評(píng)估使a/b實(shí)驗(yàn)出現(xiàn)srm問(wèn)題的目標(biāo)用戶(hù)特征，并獲取預(yù)設(shè)歷史時(shí)段內(nèi)參與a/b實(shí)驗(yàn)的用戶(hù)id數(shù)據(jù)集，這樣便可以根據(jù)目標(biāo)用戶(hù)特征提取用戶(hù)id數(shù)據(jù)集中各個(gè)用戶(hù)id的特征數(shù)據(jù)，并對(duì)各個(gè)特征數(shù)據(jù)進(jìn)行實(shí)驗(yàn)分組和特征聚合后，得到依據(jù)目標(biāo)用戶(hù)特征在實(shí)驗(yàn)組中形成的第一聚合數(shù)據(jù)和在對(duì)照組中形成的第二聚合數(shù)據(jù)，最后再對(duì)第一聚合數(shù)據(jù)和第二聚合數(shù)據(jù)之間的關(guān)聯(lián)性進(jìn)行分析，并根據(jù)分析結(jié)果確定a/b實(shí)驗(yàn)是否出現(xiàn)srm問(wèn)題。該過(guò)程中，用戶(hù)只需輸入進(jìn)行srm檢驗(yàn)所需的a/b實(shí)驗(yàn)信息，如實(shí)驗(yàn)id、實(shí)驗(yàn)背景、實(shí)驗(yàn)?zāi)繕?biāo)等，不需要其掌握專(zhuān)業(yè)的數(shù)據(jù)分析知識(shí)，也不需要親自進(jìn)行數(shù)據(jù)處理，便可以通過(guò)本技術(shù)來(lái)智能匹配出影響a/b實(shí)驗(yàn)的目標(biāo)用戶(hù)特征，并依據(jù)該目標(biāo)用戶(hù)特征來(lái)獲取特征數(shù)據(jù)后檢驗(yàn)a/b實(shí)驗(yàn)是否存在srm問(wèn)題，這樣不僅在極大程度上降低了對(duì)用戶(hù)專(zhuān)業(yè)技能的要求，而且還有效提升了分析效率和準(zhǔn)確性。