專利名稱：傳輸任務調度方法和系統(tǒng)的制作方法
技術領域：
本發(fā)明涉及數字電視文件的傳輸，尤其涉及一種傳輸任務調度方法和系統(tǒng)。
背景技術：
隨著數字電視的加速推廣，數字電視越發(fā)普及，廣電運營商在為新的數字 電視業(yè)務準備數字節(jié)目時，需要對海量的超大規(guī)模的視頻文件進行遷移。廣電 運營商現(xiàn)有系統(tǒng)常用的視頻文件遷移方式是采用單線程、單任務處理方式；或 簡單的增加設備來提高處理能力。這些技術存在不足之處是處理效率過低，不 能充分利用服務器的性能?，F(xiàn)有的處理方式越來越難以滿足廣電運營商發(fā)展數 字電視的需要，非常不利于數字電視業(yè)務的推廣。
發(fā)明內容
為此，本發(fā)明提出一種傳輸任務調度方法和系統(tǒng)，針對現(xiàn)有數字電視業(yè)務 需要，對海量的超大容量的媒資文件的傳輸進行了優(yōu)化，并可以根據服務器的 數量、服務器的性能進行調優(yōu)，以達到高速處理、充分利用服務器性能、消除 傳輸服務器的單點故障。
本發(fā)明提出一種傳輸任務調度方法，用以通過一任務管理模塊、多個任務 調度模塊及多個任務處理模塊管理數字電視的文件傳輸，其中所述的多個任務 調度模塊及多個任務處理模塊配置在一處理服務器上，該方法包括以下步驟
通過一任務管理模塊管理需要傳輸的任務；
通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度 模塊具有根據處理服務器的性能確定的任務數量；
任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及 任務處理模塊根據任務調度模塊分配的傳輸任務創(chuàng)建相應的處理線程以進行傳輸任務處理。
在本發(fā)明的一實施例中，所述任務管理模塊為每個傳輸任務設置優(yōu)先級， 所述任務調度模塊根據優(yōu)先級從所述任務管理模塊獲取傳輸任務。
在本發(fā)明的一實施例中，在任務調度模塊從任務管理模塊獲取傳輸任務 后，任務管理模塊標記該傳輸任務的狀態(tài)為"已分配"。
在本發(fā)明的一實施例中，上述方法還包括任務處理模塊將處理結果反饋 給任務調度模塊；以及任務調度模塊將處理結果反饋給任務管理模塊。
在本發(fā)明的一實施例中，在任務調度模塊將處理結果反饋給任務管理模塊 后，任務管理模塊標記該傳輸任務的狀態(tài)為"己完成"。
在本發(fā)明的一實施例中，所述任務數量是預設的。
在本發(fā)明的一實施例中，所述任務數量是由任務調度模塊動態(tài)地根據處理 服務器的性能調節(jié)。
在本發(fā)明的一實施例中，所述處理服務器的性能包括CPU和內存的使用率。
另一方面，本發(fā)明提出一種傳輸任務調度系統(tǒng)，包括 任務管理模塊，管理需要傳輸的文件信息；
處理服務器，包括多個任務調度模塊和多個任務處理模塊，其中 多個任務調度模塊用以從任務管理模塊獲取傳輸任務并分配給任務處理
模塊，其中每一任務調度模塊具有根據處理服務器的性能確定的任務數量；
多個任務處理模塊，根據分配的傳輸任務創(chuàng)建相應的處理線程以進行傳輸
任務處理。
在本發(fā)明的一實施例中，所述任務數量是預設的。
在本發(fā)明的一實施例中，所述任務數量是由任務調度模塊動態(tài)地根據處理 服務器的性能調節(jié)。
在本發(fā)明的一實施例中，所述處理服務器的性能包括CPU和內存的使用率。
綜上所述，本發(fā)明的傳輸任務調度方法和系統(tǒng)相比目前應用于數字電視文 件傳輸的技術具有以下優(yōu)點
1、提供系統(tǒng)管理人員配置參數的方式優(yōu)化傳輸服務器的處理性能。2、 任務調度模塊可以根據傳輸服務器CPU和內存使用情況優(yōu)化處理性能。
3、 安全可靠性，由于數字電視業(yè)務對實時性要求高，需7X24小時運行， 基于策略的任務調度算法充分考慮系統(tǒng)的安全可靠性。由于釆用分布式和模塊 化的思想及對各種異常的充分處理，當其中一任務調度及處理模塊由于因硬件 或網路產生異常時，其他的任務調度及處理模塊不受影響，依然正常運行，從 而保證系統(tǒng)穩(wěn)定、安全可靠。
4、 動態(tài)擴展，伴隨數字電視業(yè)務的擴展，對海量媒資處理量越來越大， 基于策略的任務調度方法和系統(tǒng)充分考慮系統(tǒng)處理性能的可擴展性，對任務調 度及處理模塊可根據需要，動態(tài)增加。
為讓本發(fā)明的上述目的、特征和優(yōu)點能更明顯易懂，以下結合附圖對本發(fā)
明的具體實施方式
作詳細說明，其中
圖1示出根據本發(fā)明一實施例的系統(tǒng)架構及其處理流程。
具體實施例方式
數字電視業(yè)務要求數字內容傳輸做到高效、實時，同時數字內容存在海量、 超大容量等特點，這就存在隨著業(yè)務的擴展、系統(tǒng)負荷也在增加。因此希望在 處理數字內容傳輸時充分考慮根據不同的策略可以隨時調整傳輸目的地，隨時 可以調整各傳輸服務器的處理性能。
在相同的網絡環(huán)節(jié)下，數字內容傳輸主要是對超大文件進行傳輸(2G以 上)，傳輸機制采用FTP,傳輸服務器的CPU、內存是影響處理性能決定因素。
圖1示出根據本發(fā)明一實施例的系統(tǒng)架構及其處理流程。此任務調度系統(tǒng)100 是由任務管理模塊110、多個任務調度模塊120-122以及多個任務處理模塊130-132 組成。由于每一任務調度模塊和任務處理模塊所執(zhí)行的操作大致相同，下面僅以任 務調度模塊120和任務處理模塊130為例進行說明。
任務管理模塊管理110需要傳輸的媒資文件任務，每一傳輸任務可包括媒資 文件傳輸源信息、傳輸目的地信息、媒資文件信息等。任務調度模塊120和任務處 理模塊130部署在處理服務器140上，任務調度模塊120負責從任務管理模塊110獲取傳輸任務，創(chuàng)建相應的任務處理模塊的線程，并將任務分配給任務處理模塊 130;任務處理模塊130根據任務調度模塊120分配的任務進行任務處理，并將處
理結果通過任務調度模塊120反饋給任務管理模塊110。
下面具體描述任務調度方法的處理流程。
步驟S1，任務管理模塊IIO管理需要傳輸的任務，例如創(chuàng)建傳輸任務，設
定這些傳輸任務的媒資文件傳輸源信息、傳輸目的地信息、媒資文件信息、任務
狀態(tài)、優(yōu)先級等信息；任務狀態(tài)例如包括"未分配"，"己分配"，"已完成"等。
步驟S2，多個任務調度模塊120會動態(tài)地從任務管理模塊IIO獲取傳輸任 務，其中每一任務調度模塊120具有根據處理服務器的性能確定的任務數量， 處理服務器的性能可包括CPU、內存等對文件傳輸影響較大的參數。
在任務調度模塊120從任務管理模塊IIO獲取傳輸任務后，任務管理模塊 IIO標記該傳輸任務的狀態(tài)為"已分配"。
步驟S3，任務調度模塊120將獲取的傳輸任務分配給該任務處理模塊。
在步驟S4，任務處理模塊130根據任務調度模塊IIO分配的傳輸任務創(chuàng)建 相應的處理線程進行任務處理。
在本實施例中，任務調度模塊120的任務數和任務處理模塊130的線程數 是相同的，任務調度模塊獲取了多少任務數，就創(chuàng)建多少任務處理線程。
在步驟S5，任務處理模塊130將處理結果反饋給任務調度模塊120;
在步驟S6，任務調度模塊120將處理結果反饋給任務管理模塊110。
在任務調度模塊120將處理結果反饋給任務管理模塊IIO后，任務管理模 塊IIO標記該傳輸任務的狀態(tài)為"已完成"。
當任務處理模塊130中的一個任務處理線程完成后，任務調度模塊120實 時從任務管理模塊IIO獲取新的任務，以保持任務處理線程的數量與設置的任 務數量一致。
在本發(fā)明的實現(xiàn)中，提供兩種調整任務數量方式 一種預設方式，即系統(tǒng) 管理人員根據服務器處理性能自行設置各傳輸服務器的處理參數(例如根據傳 輸服務器的性能調整任務調度模塊的任務數量及各服務器任務處理的線程 數)；另一種是動態(tài)方式，即任務調度模塊根據運行過程中CPU、內存的使用情況自動調節(jié)任務調度模塊120的任務數和任務處理模塊130的線程數。
在動態(tài)方式中，可以設置CPU和內存的上下閥值；任務調度模塊120統(tǒng)
計服務器CPU和內存的使用率，當CPU和內存的使用率均小于下閥值時，任
務調度模塊自動增加任務數(每次加l);當CPU或內存的使用率有一個超過
上閥值，則任務調度模塊自動減少任務數(每次減l)。
綜上所述，本發(fā)明的傳輸任務調度方法和系統(tǒng)相比目前應用于數字電視文
件傳輸的技術具有以下優(yōu)點
1、 提供系統(tǒng)管理人員配置參數的方式優(yōu)化傳輸服務器的處理性能。
2、 任務調度模塊可以根據傳輸服務器CPU和內存使用情況優(yōu)化處理性能。
3、 安全可靠性，由于數字電視業(yè)務對實時性要求高，需7X24小時運行， 基于策略的任務調度算法充分考慮系統(tǒng)的安全可靠性。由于采用分布式和模塊 化的思想及對各種異常的充分處理，當其中一任務調度及處理模塊由于因硬件 ^K網路產生異常時，^ 也的任務調度及處理模塊不受影響，依然正常運行，—從 而保證系統(tǒng)穩(wěn)定、安全可靠。
4、 動態(tài)擴展，伴隨數字電視業(yè)務的擴展，對海量媒資處理量越來越大， 基于策略的任務調度方法和系統(tǒng)充分考慮系統(tǒng)處理性能的可擴展性，對任務調 度及處理模塊可根據需要，動態(tài)增加。
雖然本發(fā)明已以較佳實施例揭示如上，然其并非用以限定本發(fā)明，任何本 領域技術人員，在不脫離本發(fā)明的精神和范圍內，當可作些許的修改和完善， 因此本發(fā)明的保護范圍當以權利要求書所界定的為準。
權利要求
1、一種傳輸任務調度方法，用以通過一任務管理模塊、多個任務調度模塊及多個任務處理模塊管理數字電視的文件傳輸，其中所述的多個任務調度模塊及多個任務處理模塊配置在一處理服務器上，該方法包括以下步驟通過一任務管理模塊管理需要傳輸的任務；通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度模塊具有根據處理服務器的性能確定的任務數量；任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及任務處理模塊根據任務調度模塊分配的傳輸任務創(chuàng)建相應的處理線程以進行傳輸任務處理。
2、 如權利要求1所述的方法，其特征在于，所述任務管理模塊為每個傳 輸任務設置優(yōu)先級，所述任務調度模塊根據優(yōu)先級從所述任務管理模塊獲取傳 輸任務。
3、 如權利要求1所述的方法，其特征在于，在任務調度模塊從任務管理 模塊獲取傳輸任務后，任務管理模塊標記該傳輸任務的狀態(tài)為"已分配"。
4、 如權利要求l所述的方法，其特征在于，還包括 任務處理模塊將處理結果反饋給任務調度模塊；以及 任務調度模塊將處理結果反饋給任務管理模塊。
5、 如權利要求4所述的方法，其特征在于，在任務調度模塊將處理結果 反饋給任務管理模塊后，任務管理模塊標記該傳輸任務的狀態(tài)為"已完成"。
6、 如權利要求l所述的方法，其特征在于，所述任務數量是預設的。
7、 如權利要求1所述的方法，其特征在于，所述任務數量是由任務調度 模塊動態(tài)地根據處理服務器的性能調節(jié)。
8、 如權利要求1或7所述的方法，其特征在于，所述處理服務器的性能 包括CPU和內存的使用率。
9、 一種傳輸任務調度系統(tǒng)，包括 任務管理模塊，管理需要傳輸的文件信息；處理服務器，包括多個任務調度模塊和多個任務處理模塊，其中多個任務調度模塊用以從任務管理模塊獲取傳輸任務并分配給任務處理 模塊，其中每一任務調度模塊具有根據處理服務器的性能確定的任務數量；多個任務處理模塊，根據分配的傳輸任務創(chuàng)建相應的處理線程以進行傳輸 任務處理。
10、 如權利要求9所述的系統(tǒng)，其特征在于，所述任務數量是預設的。
11、 如權利要求9所述的系統(tǒng)，其特征在于，所述任務數量是由任務調度 模塊動態(tài)地根據處理服務器的性能調節(jié)。
12、 如權利要求9或11所述的系統(tǒng)，其特征在于，所述處理服務器的性 能包括CPU和內存的使用率。
全文摘要
本發(fā)明涉及一種傳輸任務調度方法和系統(tǒng)，用以通過一任務管理模塊、多個任務調度模塊及多個任務處理模塊管理數字電視的文件傳輸，其中所述的多個任務調度模塊及多個任務處理模塊配置在一處理服務器上，該方法包括以下步驟通過一任務管理模塊管理需要傳輸的任務；通過多個任務調度模塊從任務管理模塊獲取傳輸任務，其中每一任務調度模塊具有根據處理服務器的性能確定的任務數量；任務調度模塊將獲取的傳輸任務分配給任務處理模塊；以及任務處理模塊根據任務調度模塊分配的傳輸任務創(chuàng)建相應的處理線程以進行傳輸任務處理。
文檔編號H04L29/06GK101442534SQ20081020812
公開日2009年5月27日 申請日期2008年12月29日 優(yōu)先權日2008年12月29日
發(fā)明者顧亞平 申請人:上海全景數字技術有限公司