背景技術(shù)：

1、軟件開發(fā)者可以執(zhí)行控制-處理實(shí)驗(yàn)(control-treatment?experiment)?(即，a/b測試)來評(píng)估在下載、安裝和/或執(zhí)行軟件應(yīng)用的新版本期間經(jīng)歷的性能問題是否是由軟件應(yīng)用的新版本引入的。軟件開發(fā)者可以收集軟件應(yīng)用的新版本的性能數(shù)據(jù)和軟件應(yīng)用的舊版本的性能數(shù)據(jù)，并且可以使用所收集的性能數(shù)據(jù)來識(shí)別由軟件應(yīng)用的新版本引入的性能問題。

技術(shù)實(shí)現(xiàn)思路

1、一般來說，本公開的技術(shù)涉及以改進(jìn)針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)的性能的方式執(zhí)行此類實(shí)驗(yàn)。計(jì)算系統(tǒng)可以在處理組(treatment?group)中的計(jì)算裝置處部署軟件應(yīng)用的處理版本，并且軟件應(yīng)用的處理版本的性能可以與安裝在控制組(control?group)中的計(jì)算裝置處的軟件應(yīng)用的控制版本的性能進(jìn)行比較。

2、計(jì)算系統(tǒng)可以收集有關(guān)在計(jì)算裝置處的軟件應(yīng)用的處理版本的下載和安裝的性能數(shù)據(jù)。為了從控制組中的計(jì)算裝置生成對(duì)應(yīng)性能數(shù)據(jù)，計(jì)算裝置可以向控制組中已經(jīng)安裝軟件應(yīng)用的控制版本的計(jì)算裝置發(fā)送軟件應(yīng)用的處理版本?？刂平M中的計(jì)算裝置可以響應(yīng)于接收到軟件應(yīng)用的處理版本而重新安裝軟件應(yīng)用的控制版本。

3、由于控制組中的計(jì)算裝置和處理組中的計(jì)算裝置兩者都可以下載軟件應(yīng)用的處理版本，因此本公開的技術(shù)可以減少在比較有關(guān)控制組中的計(jì)算裝置的性能數(shù)據(jù)和有關(guān)處理組中的計(jì)算裝置的性能數(shù)據(jù)時(shí)的任何偏差，所述偏差可能是由控制組中的計(jì)算裝置和處理組中的計(jì)算裝置下載具有非常不同的特性(例如，不同下載大小)的不同數(shù)據(jù)引入的。此外，通過使控制組中的計(jì)算裝置重新安裝軟件應(yīng)用的控制版本，本公開的技術(shù)可以觸發(fā)計(jì)算裝置執(zhí)行安裝動(dòng)作，從而使得有關(guān)在處理組中的計(jì)算裝置處的軟件應(yīng)用的處理版本的安裝的性能數(shù)據(jù)能夠與有關(guān)在控制組中的計(jì)算裝置處的軟件應(yīng)用的控制版本的重新安裝的對(duì)應(yīng)性能數(shù)據(jù)進(jìn)行比較。以此方式，本公開的技術(shù)改進(jìn)了軟件測試的技術(shù)領(lǐng)域。

4、另外，由于控制組中的計(jì)算裝置下載軟件應(yīng)用的處理版本，因此當(dāng)軟件應(yīng)用的處理版本變成為軟件應(yīng)用的新發(fā)布版本時(shí)，控制組中的計(jì)算裝置可能不必重新下載軟件應(yīng)用的處理版本來升級(jí)到軟件應(yīng)用的新發(fā)布版本。以此方式，本公開的技術(shù)還可以減少由控制組中的計(jì)算裝置的網(wǎng)絡(luò)使用，從而潛在地提供進(jìn)一步技術(shù)改進(jìn)。

5、在一些方面，本文所述的技術(shù)涉及一種方法，所述方法包括：由計(jì)算系統(tǒng)的一個(gè)或多個(gè)處理器確定安裝在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中的計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本；由一個(gè)或多個(gè)處理器至少部分地基于計(jì)算裝置是在控制組中并且安裝在計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本來確定要向計(jì)算裝置發(fā)送的用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本的軟件更新；以及由一個(gè)或多個(gè)處理器向計(jì)算裝置發(fā)送軟件更新以觸發(fā)計(jì)算裝置響應(yīng)于接收到軟件更新而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

6、在一些方面，本文所述的技術(shù)涉及一種計(jì)算系統(tǒng)，所述計(jì)算系統(tǒng)包括：存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)指令；以及一個(gè)或多個(gè)處理器，所述一個(gè)或多個(gè)處理器執(zhí)行所述指令以：確定安裝在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中的計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本；至少部分地基于計(jì)算裝置是在控制組中并且安裝在計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本來確定要向計(jì)算裝置發(fā)送的用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本的軟件更新；以及向計(jì)算裝置發(fā)送軟件更新以觸發(fā)計(jì)算裝置響應(yīng)于接收到軟件更新而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

7、在一些方面，本文所述的技術(shù)涉及一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括指令，所述指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使計(jì)算系統(tǒng)的一個(gè)或多個(gè)處理器：確定安裝在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中的計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本；至少部分地基于計(jì)算裝置是在控制組中并且安裝在計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本來確定要向計(jì)算裝置發(fā)送的用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本的軟件更新；以及向計(jì)算裝置發(fā)送軟件更新以觸發(fā)計(jì)算裝置響應(yīng)于接收到軟件更新而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

8、在一些方面，本文所述的技術(shù)涉及一種設(shè)備，所述設(shè)備包括：用于確定安裝在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中的計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本的構(gòu)件；用于至少部分地基于計(jì)算裝置是在控制組中并且安裝在計(jì)算裝置處的軟件應(yīng)用是軟件應(yīng)用的控制版本來確定要向計(jì)算裝置發(fā)送的用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本的軟件更新的構(gòu)件；以及用于向計(jì)算裝置發(fā)送軟件更新以觸發(fā)計(jì)算裝置響應(yīng)于接收到軟件更新而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處的構(gòu)件。

9、在一些方面，本文所述的技術(shù)涉及一種方法，所述方法包括：由計(jì)算裝置的一個(gè)或多個(gè)處理器從計(jì)算系統(tǒng)接收用于更新軟件應(yīng)用的軟件更新，其中計(jì)算裝置是在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中，并且其中軟件應(yīng)用的控制版本被安裝在計(jì)算裝置處；由一個(gè)或多個(gè)處理器確定軟件更新是否是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本；以及響應(yīng)于確定軟件更新是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本，由一個(gè)或多個(gè)處理器將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

10、在一些方面，本文所述的技術(shù)涉及一種計(jì)算系統(tǒng)，所述計(jì)算系統(tǒng)包括：存儲(chǔ)器，所述存儲(chǔ)器存儲(chǔ)指令；存儲(chǔ)裝置；以及一個(gè)或多個(gè)處理器，所述一個(gè)或多個(gè)處理器執(zhí)行指令以：從計(jì)算系統(tǒng)接收用于更新軟件應(yīng)用的軟件更新，其中計(jì)算裝置是在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中，并且其中軟件應(yīng)用的控制版本被安裝在計(jì)算裝置處；確定軟件更新是否是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本；以及響應(yīng)于確定軟件更新是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本，將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

11、在一些方面，本文所述的技術(shù)涉及一種非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述非暫時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)包括指令，所述指令在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)使計(jì)算裝置的一個(gè)或多個(gè)處理器：從計(jì)算系統(tǒng)接收用于更新軟件應(yīng)用的軟件更新，其中計(jì)算裝置是在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中，并且其中軟件應(yīng)用的控制版本被安裝在計(jì)算裝置處；確定軟件更新是否是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本；以及響應(yīng)于確定軟件更新是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處。

12、在一些方面，本文所述的技術(shù)涉及一種設(shè)備，所述設(shè)備包括：用于從計(jì)算系統(tǒng)接收用于更新軟件應(yīng)用的軟件更新的構(gòu)件，其中計(jì)算裝置是在與針對(duì)軟件應(yīng)用的控制-處理實(shí)驗(yàn)相關(guān)聯(lián)的控制組中，并且其中軟件應(yīng)用的控制版本被安裝在計(jì)算裝置處；用于確定軟件更新是否是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本的構(gòu)件；以及用于響應(yīng)于確定軟件更新是用于將軟件應(yīng)用更新為軟件應(yīng)用的處理版本而將軟件應(yīng)用的控制版本從計(jì)算裝置的存儲(chǔ)裝置重新安裝在計(jì)算裝置處的構(gòu)件。

13、在附圖和下文描述中闡述了一個(gè)或多個(gè)示例的細(xì)節(jié)。本公開的其他特征、目的和優(yōu)點(diǎn)將從描述和附圖中以及從權(quán)利要求中顯而易見。