專利名稱：儲(chǔ)層開發(fā)計(jì)劃的基于markov決策過程的決策支持工具的制作方法
技術(shù)領(lǐng)域：
本發(fā)明通常涉及油氣生產(chǎn)，并且具體涉及考慮不確定性的儲(chǔ)層開發(fā)計(jì)劃。
背景技術(shù)：
開發(fā)和管理石油資源通常需要多年的大量經(jīng)濟(jì)投資，同時(shí)期待收到對(duì)應(yīng)的大量財(cái) 政回報(bào)。石油儲(chǔ)層是產(chǎn)生利潤(rùn)還是虧損主要取決于為儲(chǔ)層開發(fā)和管理實(shí)施的策略和戰(zhàn)略。 儲(chǔ)層開發(fā)計(jì)劃包括策劃和/或選擇長(zhǎng)期產(chǎn)生有利經(jīng)濟(jì)結(jié)果的強(qiáng)有力的策略和戰(zhàn)略。儲(chǔ)層開發(fā)計(jì)劃可包括做出涉及例如生產(chǎn)平臺(tái)的規(guī)模、計(jì)時(shí)(timing)和位置以及 后來的擴(kuò)展和連接的決策。關(guān)鍵決策可包括平臺(tái)數(shù)量、位置、分配，以及在每個(gè)油田中的鉆 井和完井的計(jì)時(shí)。鉆后決策可以包括確定多井的產(chǎn)出率分配。任何一個(gè)決策或行為可能具 有系統(tǒng)范圍的影響，例如通過石油操作或儲(chǔ)層傳播積極或消極影響?？紤]到僅僅是面對(duì)石 油資源管理人員的許多決策中有代表性的一小部分的儲(chǔ)層開發(fā)計(jì)劃的上述方面，人們可以 認(rèn)識(shí)到計(jì)劃的價(jià)值和影響。基于計(jì)算機(jī)的建模對(duì)儲(chǔ)層開發(fā)計(jì)劃具有顯著潛力，特別是與先進(jìn)數(shù)學(xué)技術(shù)結(jié)合 時(shí)?；谟?jì)算機(jī)的計(jì)劃工具支持做出優(yōu)良的決策。一類計(jì)劃工具包括基于處理各種信息輸 入識(shí)別針對(duì)一組決策的最優(yōu)解決方案的方法。例如，示例性優(yōu)化模型可以朝著找到從具有 定義的一組約束的已知可能中產(chǎn)生最佳產(chǎn)出的解決方案的方向運(yùn)轉(zhuǎn)。因此，石油操作可以 通過適當(dāng)應(yīng)用用于優(yōu)化石油資源開發(fā)計(jì)劃和管理的優(yōu)化模型實(shí)現(xiàn)大的經(jīng)濟(jì)利益，特別是那 些涉及針對(duì)多年的多個(gè)油或氣田做出決策的模型。在此使用的術(shù)語“最優(yōu)的”、“進(jìn)行優(yōu)化”、“使優(yōu)化”、“最優(yōu)性”、“優(yōu)化”(以及派生詞
和這些術(shù)語的其它形式，以及語言學(xué)上相關(guān)的單詞和短語)并非要在要求本發(fā)明尋找最佳 解決方案或做出最佳決策方面起限制性的作用。盡管數(shù)學(xué)上最優(yōu)的解決方案事實(shí)上可以獲 得所有數(shù)學(xué)上可獲得的可能性中的最佳可能性，但優(yōu)化例程、方法、模型和過程的真實(shí)世界 實(shí)施例可能朝著這樣的目標(biāo)運(yùn)轉(zhuǎn)而不曾真實(shí)地實(shí)現(xiàn)完美。因此，本領(lǐng)域技術(shù)人員在受益于 本公開的情況下將理解這些術(shù)語在本發(fā)明范圍的背景下是是更通用的。這些術(shù)語可描述朝 著一個(gè)解決方案運(yùn)轉(zhuǎn)，該解決方案可能是最佳可獲得的解決方案、優(yōu)選解決方案或在約束 范圍內(nèi)提供特定益處的解決方案；或持續(xù)改善的解決方案；或細(xì)化的解決方案；或搜索目 標(biāo)的高點(diǎn)或最大值的解決方案；或處理從而減少罰函數(shù)(penalty function)的解決方案；等等。在某些示例性實(shí)施例中，優(yōu)化模型可以是函數(shù)和方程的代數(shù)系統(tǒng)，包含(1)可能 限于具體域范圍的連續(xù)變化或整數(shù)變化的決策變量，(2)基于輸入數(shù)據(jù)(參數(shù))和決策變量的約束方程，其限制變量在指定條件集內(nèi)的活動(dòng)，所述條件集限定解決的優(yōu)化問題的可 行性，和/或(3)基于輸入數(shù)據(jù)(參數(shù))和決策變量的目標(biāo)函數(shù)，通過最大化目標(biāo)函數(shù)或最 小化目標(biāo)函數(shù)來優(yōu)化目標(biāo)函數(shù)。在某些變化中，優(yōu)化模型可包括不可微分、黑盒與其它非代 數(shù)函數(shù)或方程。典型的(確定性的)數(shù)學(xué)優(yōu)化問題包括受到關(guān)于問題變量的一組約束的某個(gè)目 標(biāo)函數(shù)的最小化或最大化。這些問題可經(jīng)常公式化為動(dòng)態(tài)(Dynamic)規(guī)劃(DP)問題。在 DP問題中，決策時(shí)間范圍(timehorizon)被劃分成一組“階段”，并且系統(tǒng)處于若干“狀態(tài)” 中的一個(gè)。它可有助于使DP問題可視化為X-Y坐標(biāo)系，其中x軸用“階段”表示，而y軸用 “狀態(tài)”表示。在每個(gè)“階段”，決策者采取導(dǎo)致系統(tǒng)從一個(gè)階段的一個(gè)狀態(tài)轉(zhuǎn)為在下個(gè)階段 的不同狀態(tài)的“行動(dòng)”或決策。在一類DP問題中，目標(biāo)函數(shù)可以最小化以確定總成本，或者 可以最大化以確定遍及整個(gè)計(jì)劃范圍內(nèi)的總收入。在系統(tǒng)轉(zhuǎn)換前，在每個(gè)階段基于選擇的 決策和當(dāng)前狀態(tài)獲得成本/收入。假設(shè)成本函數(shù)在整個(gè)階段內(nèi)可分離，而且系統(tǒng)是馬爾可 夫模型(Markovian)；即，系統(tǒng)轉(zhuǎn)換至階段n+1的狀態(tài)僅取決于它在階段n的狀態(tài)和在階段 n采取的行為。動(dòng)態(tài)規(guī)劃可表示為(S，A，R)，其中S是狀態(tài)空間，A(s)是在狀態(tài)s可采取的行為 的集合，R(s，a)是在狀態(tài)s選擇行為a的收益。動(dòng)態(tài)規(guī)劃作被公式化為如下所示的遞歸優(yōu) 化問題1.對(duì)于 n = 1，2，3， ，N， 「ooi 21 a = min[c(s,a) +
LJ 扈
a,2 其中3. fi (s)=在階段n中給定狀態(tài)s的最優(yōu)花費(fèi)成本 (cost-to-go)函數(shù)4.c(s, a)=在狀態(tài)s中選擇行為a的成本5. f(s,a)=轉(zhuǎn)換函數(shù)，其在給定系統(tǒng)處于階段n中的狀態(tài)s中并選擇行為a的情 況下確定在階段n+1中的狀態(tài)。假設(shè)最終收益位(s)已知。動(dòng)態(tài)規(guī)劃的目標(biāo)是找到總(S0)，其中sQ是系統(tǒng)初始 狀態(tài)。當(dāng)時(shí)間范圍有限時(shí)，可以使用后向遞歸求解動(dòng)態(tài)規(guī)劃。然而，當(dāng)時(shí)間范圍無限時(shí)，可 使用例如值/策略迭代等算法求解動(dòng)態(tài)規(guī)劃。求解數(shù)學(xué)優(yōu)化問題可包含尋找決策變量的值，以滿足全部約束，其中通過改變變 量值而仍舊保持關(guān)于全部約束的可行性來改善目標(biāo)函數(shù)的值在數(shù)學(xué)上基本不可能。在問題 的“已知”固定參數(shù)中的一些實(shí)際上不確定時(shí)，做出決策的一種通用方法是忽略不確定性并 將問題作為確定性優(yōu)化問題建模。然而，確定性優(yōu)化問題的解決方案可以是次優(yōu)化的，或可 能甚至是不可行的，尤其是在問題參數(shù)的取值最終不同于被選擇用作求解的優(yōu)化模型的輸 入的那些值的情況下。儲(chǔ)層開發(fā)計(jì)劃的優(yōu)化處理可能是挑戰(zhàn)性的，即使假設(shè)儲(chǔ)層和地面設(shè)施的經(jīng)濟(jì)情況 和動(dòng)態(tài)完全已知。通常，大量軟硬約束適用于甚至更大數(shù)量的決策變量。實(shí)際上，然而，儲(chǔ) 層動(dòng)態(tài)、經(jīng)濟(jì)情況和/或決策過程的其他組成部分中存在使優(yōu)化處理復(fù)雜化的不確定性。

發(fā)明內(nèi)容
傳統(tǒng)儲(chǔ)層開發(fā)計(jì)劃技術(shù)通常無法適當(dāng)考慮這樣的不確定性。在與開發(fā)計(jì)劃有關(guān) 的信息和因素中，不確定性通常是固有的。即，優(yōu)化問題的輸入(和或許問題的數(shù)學(xué)建模) 含有不確定性。不確定性可視作非確定性的或經(jīng)過推理(a priori)保持未知的特征或方 面。應(yīng)用計(jì)算機(jī)編程以對(duì)石油資源的開發(fā)和管理作決策支持的常規(guī)途徑不對(duì)這種不確定性 作充分全面的了解。當(dāng)前，對(duì)儲(chǔ)層動(dòng)態(tài)、經(jīng)濟(jì)或決策過程的其它部分中的不確定性的考慮通常降至數(shù) 量非常有限的情形，例如由“高邊”情形、“最可能”情形以及“低邊”情形所表示的不確定 性。例如，儲(chǔ)層動(dòng)態(tài)中的不確定性對(duì)于上述三種情形中的每種情形通常通過在不確定性空 間內(nèi)對(duì)隨機(jī)點(diǎn)采樣而降到已知值。在此使用的術(shù)語“不確定性空間”通常指與求解中的問 題有關(guān)的不確定性的表示，例如針對(duì)輸入到優(yōu)化例程的數(shù)據(jù)的集體不確定性?；诓淮_定性空間的有限采樣，一個(gè)值被分配給“高邊”情形、“最可能”情形和“低 邊”情形。通常針對(duì)具體情形優(yōu)化決策通常針對(duì)“最可能”情形，并隨后針對(duì)剩余的兩種情 形評(píng)估決策以提供可接受的風(fēng)險(xiǎn)等級(jí)。然而，此途徑完全低估了不確定性的復(fù)雜性，并且會(huì) 導(dǎo)致次優(yōu)化的或與某些其它尚未確認(rèn)的解決方案相比更不利的解決方案?；谇懊娴挠懻?，本領(lǐng)域顯然需要有助于儲(chǔ)層開發(fā)計(jì)劃和/或可提供與儲(chǔ)層開發(fā) 和資源管理有關(guān)的決策支持的改善型工具。進(jìn)一步存在對(duì)可以針對(duì)計(jì)劃或決策支持考慮寬 范圍不確定性的工具的需求。進(jìn)一步存在對(duì)在用來產(chǎn)生計(jì)劃或決策支持的模型內(nèi)系統(tǒng)地處 理不確定數(shù)據(jù)的工具的需求。進(jìn)一步存在對(duì)可以操縱與產(chǎn)生儲(chǔ)層開發(fā)計(jì)劃或決策支持有關(guān) 的全部不確定性空間的工具的需要。進(jìn)一步存在對(duì)一種工具的需求，其中數(shù)據(jù)中的固有不 確定性直接并入決策優(yōu)化模型中，由此獲得與不確定性的各種實(shí)現(xiàn)中的決策有關(guān)的權(quán)衡， 并因此在做出關(guān)于石油和/或天然氣儲(chǔ)層開發(fā)計(jì)劃的決策時(shí)可獲得更好的信息。本領(lǐng)域需 求的上述討論意指代表性的而非詳盡。滿足一個(gè)或更多這種需要或者克服該領(lǐng)域中某些其 它相關(guān)缺點(diǎn)的技術(shù)將有益于儲(chǔ)層開發(fā)計(jì)劃，例如提供用于更有效且更有利地開發(fā)和管理儲(chǔ) 層的決策或計(jì)劃。本發(fā)明支持做出決策、計(jì)劃、策略和/或戰(zhàn)略用于開發(fā)和管理石油資源，例如石油 儲(chǔ)層。在本發(fā)明的一方面，基于計(jì)算機(jī)或基于軟件的方法可提供與開發(fā)一個(gè)或更多石油 儲(chǔ)層有關(guān)的決策支持。例如，該方法可基于與儲(chǔ)層和/或操作有關(guān)的輸入數(shù)據(jù)產(chǎn)生儲(chǔ)層開 發(fā)計(jì)劃。這種輸入數(shù)據(jù)可包含未知或不確定的流體動(dòng)力學(xué)、儲(chǔ)層尺寸、當(dāng)前開發(fā)狀態(tài)、當(dāng)前 和預(yù)計(jì)油價(jià)、鉆探成本、鉆井(rig time)時(shí)間的每小時(shí)成本、地質(zhì)數(shù)據(jù)、資本成本、當(dāng)前和預(yù) 計(jì)可用資源(人力、財(cái)政、設(shè)備等等)以及規(guī)章環(huán)境，以列出少量有代表性的可能數(shù)據(jù)。輸 入數(shù)據(jù)可具有不確定性。更具體地，輸入數(shù)據(jù)的每個(gè)元素可具有不確定性的相關(guān)級(jí)別、量或 表示。輸入數(shù)據(jù)中的一些可以是具有高級(jí)不確定性的已知數(shù)據(jù)(例如鉆井時(shí)間的當(dāng)前成 本)，而其它輸入數(shù)據(jù)可具有各種程度的不確定性。例如，未來鉆井時(shí)間成本的不確定性可 隨著投入未來的時(shí)間量的增加而增加。即，開發(fā)計(jì)劃第五年的鉆井時(shí)間成本的不確定性將 可能比第二年的鉆井時(shí)間成本的不確定性更高。輸入數(shù)據(jù)的集合不確定性可定義不確定性 空間。軟件例程可通過處理輸入數(shù)據(jù)和考慮不確定性空間產(chǎn)生儲(chǔ)層開發(fā)計(jì)劃，例如通過應(yīng)用基于Markov決策過程的例程。例如，產(chǎn)生儲(chǔ)層開發(fā)計(jì)劃可包含輸出計(jì)劃的某方面、做出 與生成或改變計(jì)劃有關(guān)的確定或做出關(guān)于一個(gè)或更多決策的推薦，該決策與儲(chǔ)層開發(fā)計(jì)劃
或管理有關(guān)。在一個(gè)通常方面，儲(chǔ)層開發(fā)計(jì)劃的方法包括接收與儲(chǔ)層開發(fā)有關(guān)的數(shù)據(jù)。通過計(jì) 算機(jī)實(shí)現(xiàn)的基于Markov決策過程的模型處理接收的數(shù)據(jù)。儲(chǔ)層開發(fā)計(jì)劃響應(yīng)通過計(jì)算機(jī) 實(shí)施的基于Markov決策過程的模型處理接收的數(shù)據(jù)而生成。該方面的實(shí)施可包括一個(gè)或更多以下特性。例如，儲(chǔ)層開發(fā)計(jì)劃可以根據(jù)與接收 的數(shù)據(jù)關(guān)聯(lián)的不確定性空間生成。計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型可以包括基 于接收的數(shù)據(jù)和不確定性空間優(yōu)化儲(chǔ)層開發(fā)計(jì)劃的至少某個(gè)方面。接收數(shù)據(jù)可包括接收已 知數(shù)據(jù)參數(shù)和不確定的數(shù)據(jù)參數(shù)。通過計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型處理接 收的數(shù)據(jù)可包括利用并入不確定數(shù)據(jù)參數(shù)的基于Markov決策過程的模型處理所述數(shù)據(jù)。 不確定性空間可能與接收的數(shù)據(jù)有關(guān)。通過計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型處 理接收的數(shù)據(jù)可包括整體考慮不確定性空間。基于Markov決策過程的模型可包括多個(gè)階 段、每個(gè)階段中的多個(gè)狀態(tài)和/或包括多個(gè)轉(zhuǎn)換概率，每個(gè)階段都代表時(shí)間上不連續(xù)的步 幅，每個(gè)狀態(tài)代表儲(chǔ)層開發(fā)計(jì)劃的潛在狀態(tài)。每個(gè)轉(zhuǎn)換概率都代表數(shù)據(jù)中的不確定性，并且 每個(gè)轉(zhuǎn)換概率由儲(chǔ)層開發(fā)計(jì)劃的當(dāng)前狀態(tài)和要采取的決策來確定。未來狀態(tài)根據(jù)轉(zhuǎn)換概率 確定。在基于Markov決策過程的模型內(nèi)的多個(gè)階段中的每個(gè)階段，允許決策者采取一個(gè)或 更多糾正決策。在另一通常方面中，儲(chǔ)層開發(fā)計(jì)劃的方法包括接收與儲(chǔ)層開發(fā)計(jì)劃有關(guān)的數(shù)據(jù)， 其中不確定性與數(shù)據(jù)有關(guān)。響應(yīng)利用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模型處理接收的數(shù) 據(jù)，產(chǎn)生儲(chǔ)層開發(fā)計(jì)劃的至少某部分。在不確定性隨時(shí)間逐漸顯露時(shí)，采取一個(gè)或更多糾正 決策。該方面的實(shí)施可包括一個(gè)或更多以下特性。例如，基于計(jì)算機(jī)的優(yōu)化模型可以是 基于Markov決策過程的模型。不確定性可通過獲得不確定性的多種實(shí)現(xiàn)之間的權(quán)衡并入 基于Markov決策過程的模型中。響應(yīng)使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模型處理接 收的數(shù)據(jù)，產(chǎn)生儲(chǔ)層開發(fā)計(jì)劃的至少某部分可包括實(shí)現(xiàn)整個(gè)不確定性空間中的優(yōu)化問題的 可行性。響應(yīng)使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模型處理接收的數(shù)據(jù)，產(chǎn)生儲(chǔ)層開發(fā) 計(jì)劃的至少某部分可包括系統(tǒng)地處理基于Markov決策過程的模型內(nèi)的不確定性數(shù)據(jù)。在另一通常方面，關(guān)于石油資源開發(fā)的決策支持的方法包括接收與開發(fā)石油儲(chǔ)層 的決策有關(guān)的多個(gè)數(shù)據(jù)元素，其中不確定性的相應(yīng)特征與數(shù)據(jù)元素中的每個(gè)數(shù)據(jù)元素有 關(guān)。響應(yīng)使用基于計(jì)算機(jī)的基于Markov決策過程的模型處理每個(gè)數(shù)據(jù)元素和不確定性的 相應(yīng)特征中的每個(gè)，輸出對(duì)決策的建議。基于Markov決策過程的模型包含不確定性的相應(yīng) 特征中的每個(gè)。使用基于計(jì)算機(jī)的基于Markov決策過程的模型處理數(shù)據(jù)元素中的每個(gè)和 不確定性的相應(yīng)特征中的每個(gè)可包括覆蓋不確定性空間。在另一通常方面，基于計(jì)算機(jī)優(yōu)化儲(chǔ)層開發(fā)計(jì)劃的方法包括提供包含不確定性的 輸入數(shù)據(jù)。儲(chǔ)層的第一模擬采用儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的高保真度模型利用輸入數(shù)據(jù)生成， 其中第一模擬生成第一高保真度輸出數(shù)據(jù)。儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的低保真度模型使用輸入 數(shù)據(jù)和第一高保真度輸出數(shù)據(jù)生成，其中低保真度模型生成預(yù)測(cè)。儲(chǔ)層開發(fā)計(jì)劃模型利用 輸入數(shù)據(jù)和儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的低保真度模型進(jìn)行優(yōu)化，其中儲(chǔ)層開發(fā)計(jì)劃模型生成儲(chǔ)
8層開發(fā)計(jì)劃輸出數(shù)據(jù)。儲(chǔ)層開發(fā)計(jì)劃模型包括基于Markov決策過程的模型。儲(chǔ)層的第二模 擬采用儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的高保真度模型利用輸入數(shù)據(jù)和儲(chǔ)層開發(fā)計(jì)劃輸出數(shù)據(jù)執(zhí)行， 其中第二模擬生成第二高保真度輸出數(shù)據(jù)。第二高保真度輸出數(shù)據(jù)與低保真度模型的預(yù)測(cè) 比較。重復(fù)生成儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的低保真度模型、優(yōu)化儲(chǔ)層開發(fā)計(jì)劃模型、使用儲(chǔ)層或 地面設(shè)施動(dòng)態(tài)的高保真度模型執(zhí)行儲(chǔ)層的第二模擬以及比較第二高保真度輸出數(shù)據(jù)與低 保真度模型的預(yù)測(cè)的步驟，直到第二高保真度輸出數(shù)據(jù)與低保真度模型的預(yù)測(cè)基本一致。該方面的實(shí)施可包括一個(gè)或更多以下特性。例如，可響應(yīng)第二高保真度輸出數(shù)據(jù) 與低保真度模型的預(yù)測(cè)基本一致，生成開發(fā)計(jì)劃。與基于Markov決策過程的模型接口的求 解例程可幫助基于Markov決策過程的模型優(yōu)化儲(chǔ)層開發(fā)計(jì)劃?；贛arkov決策過程的模 型可包括有助于優(yōu)化儲(chǔ)層開發(fā)計(jì)劃的求解例程。在另一通常方面中，從地下儲(chǔ)層生產(chǎn)碳?xì)浠衔锏姆椒òɑ谳斎霐?shù)據(jù)生成儲(chǔ) 層開發(fā)計(jì)劃系統(tǒng)。儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)根據(jù)不確定性空間被優(yōu)化，其中儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)利 用基于Markov決策過程的模型被優(yōu)化。根據(jù)被優(yōu)化的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)的輸出，從儲(chǔ)層產(chǎn) 生碳?xì)浠衔铩］斎霐?shù)據(jù)可包括確定性分量和非確定性分量。根據(jù)不確定性空間優(yōu)化儲(chǔ)層 開發(fā)計(jì)劃系統(tǒng)可包括使用基于Markov決策過程的模型考慮非確定性分量中的每個(gè)?；?Markov決策過程的模型可并入輸入數(shù)據(jù)的不確定性。不確定性空間可指定輸入數(shù)據(jù)的固 有不確定性。儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)可包括具有低保真度儲(chǔ)層模型和高保真度儲(chǔ)層模型的基于 Markov決策過程的模型。高保真度模型可從基于Markov決策過程的模型接受一個(gè)或更多 參數(shù)輸入數(shù)據(jù)，并向基于Markov決策過程的模型提供一個(gè)或更多儲(chǔ)層或地面設(shè)施性質(zhì)輸 入數(shù)據(jù)。儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)可使用高保真度模型模擬儲(chǔ)層的操作；以及使用低保真度模型 模擬儲(chǔ)層的操作而被優(yōu)化。該發(fā)明內(nèi)容中的儲(chǔ)層開發(fā)的決策支持工具的討論僅用于說明的目的。可以從公 開實(shí)施例的以下詳細(xì)描述并參考下面附圖和權(quán)利要求更清楚理解和認(rèn)識(shí)本發(fā)明的各方面。 此外，對(duì)于本領(lǐng)域技術(shù)人員來說，查看以下附圖和詳細(xì)描述后，本發(fā)明的其它方面、系統(tǒng)、方 法、特性、優(yōu)點(diǎn)和目標(biāo)將是顯而易見的。所有這樣的方面、系統(tǒng)、方法、特性、優(yōu)點(diǎn)和目標(biāo)都將 包含在此說明書中、將屬于本發(fā)明的范圍，并由所附權(quán)利要求來保護(hù)。


圖1是根據(jù)本發(fā)明某些示例性實(shí)施例的基于Markov決策過程的模型的圖解，該模 型代表與在若干步驟中求解的儲(chǔ)層模型的數(shù)據(jù)有關(guān)的不確定性和不確定性隨時(shí)間的求解。圖2是根據(jù)本發(fā)明某些示例性實(shí)施例的包括定義多個(gè)節(jié)點(diǎn)的網(wǎng)格的三維儲(chǔ)層模 型的圖解。圖3是根據(jù)本發(fā)明某些示例性實(shí)施例模擬圖2的儲(chǔ)層模型的操作的儲(chǔ)層模擬器的 流程圖解。圖4是根據(jù)示例性實(shí)施例表示儲(chǔ)層區(qū)域的不確定生產(chǎn)剖面的離散概率分布的圖表。圖5是根據(jù)示例性實(shí)施例代表儲(chǔ)層的三種可能狀況的生產(chǎn)剖面的圖表。圖6是根據(jù)本發(fā)明某些示例性實(shí)施例的基于Markov決策過程的儲(chǔ)層開發(fā)計(jì)劃系 統(tǒng)的示意圖解。
圖7是根據(jù)本發(fā)明某些示例性實(shí)施例的操作圖6的基于Markov決策過程的儲(chǔ)層 開發(fā)計(jì)劃系統(tǒng)的方法的流程圖解。可參照上述附圖更好地理解本發(fā)明的許多方面。附圖中示出的元素和特性未必成 比例繪制，相反重點(diǎn)是要清楚地說明本發(fā)明示例性實(shí)施例的原理。在附圖中，參考標(biāo)記指代 所有圖形中相似或?qū)?yīng)的元素，但不必需相同。
具體實(shí)施例方式本發(fā)明示范實(shí)施例支持在不確定參數(shù)的詳情仍未知時(shí)做出關(guān)于儲(chǔ)層開發(fā)計(jì)劃的 決策。不確定參數(shù)隨時(shí)間逐漸顯露，并且決策可能需要在將可用信息并入到?jīng)Q策過程的同 時(shí)每隔一段時(shí)間做出。這些不確定性及其隨時(shí)間的演變可直接在作為基于Markov決策過 程模型的優(yōu)化模型內(nèi)考慮，該模型另稱為隨機(jī)動(dòng)態(tài)規(guī)劃模型(“SDP”)。在示例性實(shí)施例中， 基于Markov決策過程的模型系統(tǒng)地處理所有不確定數(shù)據(jù)。不確定性由將進(jìn)一步討論的控 制階段之間轉(zhuǎn)換的轉(zhuǎn)換概率來表示。這樣的范例允許產(chǎn)生覆蓋不確定性空間、仍舊可行的、 靈活且魯棒的解決方案，并允許在輸入數(shù)據(jù)中的不確定性的最優(yōu)性和隨機(jī)性之間做出權(quán)衡 以反映決策者的風(fēng)險(xiǎn)態(tài)度?；贛arkov決策過程的模型不僅將不確定性表示并入到優(yōu)化模型中并針對(duì)所有 情形明確評(píng)估解決方案的表現(xiàn)，還并入決策者在真實(shí)世界中的靈活性以基于隨時(shí)間推移獲 得的新信息來調(diào)節(jié)決策。決策者將能夠基于此新信息做出糾正的決策/行為。此特性允許 生成更靈活且實(shí)際的解決方案。另外，此模型易于并入狀態(tài)方程的黑盒函數(shù)，并允許使用復(fù) 雜的條件轉(zhuǎn)換概率。在某些示例性實(shí)施例中，基于Markov決策過程的建模提供儲(chǔ)層開發(fā)計(jì)劃的途徑， 并有效處理不確定性?；贛arkov決策過程的建模的一個(gè)示例性實(shí)施例利用已知或可估 計(jì)支配儲(chǔ)層開發(fā)計(jì)劃數(shù)據(jù)的概率分布的事實(shí)。在一些實(shí)施例中，基于Markov決策過程的建 ?？捎脕韺ふ覍?duì)全部或接近全部的可能數(shù)據(jù)實(shí)例可行的策略，并且最大化決策和隨機(jī)變量 的某一函數(shù)的期望值。本發(fā)明可以以多種形式實(shí)施，并且不應(yīng)解釋為限于本文闡述的實(shí)施例；相反，提供 這些實(shí)施例是為了使本公開是詳盡且完整的，并向本領(lǐng)域技術(shù)人員全面地告知本發(fā)明的范 疇。此外，除了受到本發(fā)明的表述支持以外，本文給出的全部“示例”或“示例性實(shí)施例”意 指不受限的。將參照?qǐng)D1-6詳細(xì)描述本發(fā)明的示例性實(shí)施例。圖1是根據(jù)本發(fā)明的某些示例性 實(shí)施例的基于Markov決策過程的模型的圖示說明，該模型代表與若干步驟中求解的儲(chǔ)層 模型的數(shù)據(jù)有關(guān)的不確定性和不確定性隨著時(shí)間的解?；贛arkov決策過程的模型100 圖示說明具有三個(gè)階段110 (112、114和116)和每個(gè)階段110的四個(gè)狀態(tài)(122、124、126和 128)的模型。階段110代表時(shí)間范圍，狀態(tài)120用來代表約束條件，行為(未示出)代表 決策變量，并且轉(zhuǎn)換概率150是基于數(shù)據(jù)概率分布。這些轉(zhuǎn)換概率代表數(shù)據(jù)中的不確定性。 盡管在此基于Markov決策過程的模型中圖示說明三個(gè)階段和四個(gè)狀態(tài)，但是不偏離該示 例性實(shí)施例精神和范疇的任意數(shù)量的階段和狀態(tài)都是可能的。根據(jù)圖1，在階段T = 1112，系統(tǒng)可處于第一狀態(tài)122、第二狀態(tài)124、第三狀態(tài)126 或第四狀態(tài)128。在階段T = 2114，系統(tǒng)可處于第五狀態(tài)130、第六狀態(tài)132、第七狀態(tài)134
10或第八狀態(tài)136。在階段T = 3116，系統(tǒng)可處于第九狀態(tài)138、第十狀態(tài)140、第i^一狀態(tài) 142或第十二狀態(tài)144。圖1示出當(dāng)初始狀態(tài)處于第一狀態(tài)122時(shí)不確定性隨著時(shí)間推移 的解。當(dāng)系統(tǒng)初始狀態(tài)處于階段T = 1112和第一狀態(tài)122時(shí)，系統(tǒng)可基于第一轉(zhuǎn)換概 率152轉(zhuǎn)換到第五狀態(tài)130、基于第二轉(zhuǎn)換概率154轉(zhuǎn)換到第六狀態(tài)132、基于第三轉(zhuǎn)換概 率156轉(zhuǎn)換到第七狀態(tài)134，或基于第四轉(zhuǎn)換概率158轉(zhuǎn)換到第八狀態(tài)136。轉(zhuǎn)換概率150 基于將采取的計(jì)劃的行為。另外，轉(zhuǎn)換概率的數(shù)量等于階段T = 2114的未來狀態(tài)的數(shù)量。 轉(zhuǎn)換概率范圍可以從0%到100%。根據(jù)實(shí)施例中的某些實(shí)施例，轉(zhuǎn)換概率大于零，但小于 一百。當(dāng)系統(tǒng)的狀態(tài)處于階段T = 2114和第五狀態(tài)130時(shí)，系統(tǒng)可基于第五轉(zhuǎn)換概率 160轉(zhuǎn)換到第九狀態(tài)138、基于第六轉(zhuǎn)換概率162轉(zhuǎn)換到第十狀態(tài)140、基于第七轉(zhuǎn)換概率 164轉(zhuǎn)換到第十一狀態(tài)142，或基于第八轉(zhuǎn)換概率166轉(zhuǎn)換到第十二狀態(tài)144。轉(zhuǎn)換概率150 基于要采取的計(jì)劃的行為。另外，轉(zhuǎn)換概率的數(shù)量等于階段T = 3116的未來狀態(tài)的數(shù)量。 轉(zhuǎn)換概率范圍可以從0%到100%。根據(jù)實(shí)施例中的某些實(shí)施例，轉(zhuǎn)換概率大于零，但小于 一百。然而，如果系統(tǒng)處于階段T = 2114和第六狀態(tài)132，則系統(tǒng)可基于第九轉(zhuǎn)換概率 168轉(zhuǎn)換到第九狀態(tài)138、基于第十轉(zhuǎn)換概率170轉(zhuǎn)換到第十狀態(tài)140、基于第十一轉(zhuǎn)換概率 172轉(zhuǎn)換到第十一狀態(tài)142，或基于第十二轉(zhuǎn)換概率174轉(zhuǎn)換到第十二狀態(tài)144。轉(zhuǎn)換概率 150基于將采取的計(jì)劃的行為。另外，轉(zhuǎn)換概率的數(shù)量等于階段T = 3116的未來狀態(tài)的數(shù) 量。轉(zhuǎn)換概率范圍可以從0%到100%。根據(jù)實(shí)施例中的某些實(shí)施例，轉(zhuǎn)換概率大于零，但 小于一百。因此，根據(jù)一個(gè)實(shí)施例，決策者的最終收益將處于階段T = 3116和第九狀態(tài)138。 如果決策者在階段T= 1112和第一狀態(tài)122開始，則決策者可以要求從階段T= 1112的 第一狀態(tài)122開始經(jīng)階段T = 2114的第五狀態(tài)130行進(jìn)至階段T = 3116的第九狀態(tài)138。 決策者認(rèn)為某些行為將促進(jìn)含有不確定性的基于轉(zhuǎn)換概率150的進(jìn)程。然而，由于不確定 性，決策者可以更改為從階段T = 1112的第一狀態(tài)122開始行進(jìn)至階段T = 2114的第六狀 態(tài)132。在階段T = 2114第六狀態(tài)132，決策者可采取糾正行為，從而決策者可以嘗試行進(jìn) 到T = 3116的第九狀態(tài)138。盡管提供了到達(dá)階段T = 3116的第九狀態(tài)138的兩個(gè)示例， 但是可以獲得到達(dá)T = 3116的第九狀態(tài)138的最終收益的許多路徑，而不背離示例性實(shí)施 例的范圍和精神。另外，盡管最終收益被描述為階段T = 3116的第九狀態(tài)138，但是最終收 益可以是在任何未來階段的任何其它狀態(tài)，而不背離該示例性實(shí)施例的范圍和精神。此外， 盡管已經(jīng)示出第一狀態(tài)122可前進(jìn)到第九狀態(tài)138，但是階段T = 1122的任何初始狀態(tài)都 可以基于采取的行為和轉(zhuǎn)換概率前進(jìn)到階段T = 3116的任何最終狀態(tài)。受不確定性影響的、基于Markov決策過程的模型的應(yīng)用可包括投資、生產(chǎn)或開發(fā) 的長(zhǎng)期計(jì)劃，其中固定決策隨著時(shí)間發(fā)生在各階段中。因此，隨著時(shí)間的推移，創(chuàng)建考慮更 多明確信息的機(jī)會(huì)。模型中的決策也可以包括與行為對(duì)應(yīng)的決策，該行為可以恢復(fù)與不確 定性有關(guān)的信息。嵌入在基于Markov決策過程的模型中的追償(recourse)允許決策者基 于獲得的信息調(diào)節(jié)其決策或采取糾正的行為。在此使用的術(shù)語“追償”指代在隨機(jī)事件發(fā) 生后采取糾正行為的能力。通過導(dǎo)致魯棒的、靈活的、更高價(jià)值的決策和真實(shí)世界中作出決策的真實(shí)模型的追償，基于Markov決策過程的模型可提供更為優(yōu)化的解決方案。圖2是根據(jù)本發(fā)明某些示例性實(shí)施例的三維儲(chǔ)層模型200的圖示說明，該模型包 括定義多個(gè)節(jié)點(diǎn)204的網(wǎng)格206。儲(chǔ)層模型200可用于模擬具有一個(gè)或更多垂直井202的 油和/或氣儲(chǔ)層的操作。如所示，儲(chǔ)層模型200可由網(wǎng)格206分為多個(gè)節(jié)點(diǎn)204。網(wǎng)格206 代表單元格式的地質(zhì)構(gòu)造，從而支持根據(jù)網(wǎng)格206的對(duì)儲(chǔ)層和地質(zhì)信息的基于計(jì)算機(jī)的處 理。儲(chǔ)層模型200的節(jié)點(diǎn)204可具有不一致的尺寸。該三維儲(chǔ)層模型200可提供協(xié)同儲(chǔ)層 模擬器使用的附加數(shù)據(jù)。圖3是根據(jù)本發(fā)明某些示例性實(shí)施例模擬圖2的儲(chǔ)層模型200的操作的儲(chǔ)層模擬 器300的流程圖示說明。在示例性實(shí)施例中，模擬器300包含在計(jì)算機(jī)系統(tǒng)上執(zhí)行的一組 指令。即，模擬器300包含在一臺(tái)或一臺(tái)以上計(jì)算機(jī)上運(yùn)行的一個(gè)或更多軟件程序。另外， 計(jì)算機(jī)可具有執(zhí)行該模擬的一個(gè)或更多處理器。參考圖2和圖3，儲(chǔ)層模擬器300模擬儲(chǔ)層模型的操作，其中井管理302針對(duì)儲(chǔ)層 模型200的井202和地面設(shè)施網(wǎng)絡(luò)執(zhí)行。井管理302在儲(chǔ)層200中所有井202上執(zhí)行，并 包括迭代過程304，其中雅可比構(gòu)造(Jacobian construction)和流量計(jì)算306被執(zhí)行，接 著執(zhí)行線性求解308和一個(gè)或更多性質(zhì)計(jì)算310。線性求解308和/或一個(gè)或更多性質(zhì)計(jì) 算310在代表諸如網(wǎng)格206中的網(wǎng)點(diǎn)的壓力和構(gòu)成的大型數(shù)據(jù)陣列上執(zhí)行。一旦針對(duì)儲(chǔ)層模型200中的井202的迭代過程304完成且收斂，之后井202的數(shù) 據(jù)在結(jié)果/檢查點(diǎn)I/O 312中生成。一旦井202的井管理302完成，可以針對(duì)整個(gè)儲(chǔ)層模 型200的剩余井202執(zhí)行井管理302，其中每個(gè)井202的結(jié)果在結(jié)果/檢查點(diǎn)I/O 312中生 成。儲(chǔ)層模擬器300可例如使用一臺(tái)或一臺(tái)以上通用計(jì)算機(jī)、專用計(jì)算機(jī)、模擬處理 器、數(shù)字處理器、中央處理器和/或分布式計(jì)算系統(tǒng)來實(shí)施。即，儲(chǔ)層模擬器300可包含計(jì) 算機(jī)可執(zhí)行指令或代碼。儲(chǔ)層模擬器300的輸出可包含在圖形用戶界面(⑶I)上顯示的結(jié)果、數(shù)據(jù)文件、在 介質(zhì)例如光盤或磁盤上的數(shù)據(jù)、紙報(bào)告或傳輸給另一計(jì)算機(jī)或另一軟件例程的信號(hào)(不是 詳盡的清單)。儲(chǔ)層模型200和儲(chǔ)層模擬器300可用來模擬儲(chǔ)層操作，由此允許對(duì)碳?xì)浠衔飪?chǔ) 層、井和相關(guān)地面設(shè)施中的流體、能量和/或氣體流動(dòng)的建模。儲(chǔ)層模擬器300是儲(chǔ)層優(yōu)化 的一部分，此優(yōu)化還包括構(gòu)建準(zhǔn)確表示儲(chǔ)層的數(shù)據(jù)。示例性的模擬目標(biāo)包含理解地層流動(dòng) 模式，以優(yōu)化自井202和地面設(shè)施的某個(gè)組合生產(chǎn)碳?xì)浠衔锏哪承┎呗?。模擬通常是費(fèi) 時(shí)的迭代過程的部分，以在優(yōu)化生產(chǎn)策略的同時(shí)降低關(guān)于特定儲(chǔ)層模型描述的不確定性。 例如，儲(chǔ)層模擬，是計(jì)算流體動(dòng)力學(xué)模擬的一種。儲(chǔ)層模型200和儲(chǔ)層模擬器300可進(jìn)一步用來優(yōu)化對(duì)應(yīng)儲(chǔ)層、井和相關(guān)地面設(shè)施 的設(shè)計(jì)和操作。參考圖4和5，圖4是根據(jù)示例性實(shí)施例表示儲(chǔ)層區(qū)域的不確定產(chǎn)出剖面 (production profile)的離散概率分布的圖表，而圖5是根據(jù)示例性實(shí)施例表示儲(chǔ)層的三 種可能狀況的產(chǎn)出剖面的圖表。在概率分布連續(xù)的情況下，某種形式的采樣技術(shù)包括但不 限于采樣平均近似值，該采樣技術(shù)用于將模型的不確定性離散化。根據(jù)圖4中的不確定產(chǎn) 出剖面表400，低狀況(L)410的概率是0.30，或30%，440。另外，中等或基礎(chǔ)狀況(M)420
12的概率是0. 40，或40%，450。此外，高狀況(H) 430的概率是0. 30，或30%，460。圖5圖示 說明儲(chǔ)層的三種可能的產(chǎn)油狀況，低狀況出油率(oil rate) 510、基礎(chǔ)狀況出油率520和高 狀況出油率530。產(chǎn)出剖面表500中示出的數(shù)據(jù)利用儲(chǔ)層模擬器中的任何儲(chǔ)層模擬器生成。圖6是根據(jù)本發(fā)明某些示例性實(shí)施例的基于Markov決策過程的儲(chǔ)層開發(fā)計(jì)劃系 統(tǒng)600的示意性圖示說明。在示例性實(shí)施例中，儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)600是計(jì)算機(jī)程序、基于 軟件的引擎或計(jì)算模塊。此外，圖6的圖形中每個(gè)圖解的方塊都可包含計(jì)算機(jī)程序、基于軟 件的引擎或計(jì)算模塊。因此，例如，可以使用一臺(tái)或一臺(tái)以上通用計(jì)算機(jī)、專用計(jì)算機(jī)、模擬 處理器、數(shù)字處理器、中央處理器單元和/或分布式計(jì)算系統(tǒng)來實(shí)施基于Markov決策過程 的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)600。基于Markov決策過程的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)600包括儲(chǔ)層開發(fā)計(jì)劃的一個(gè)或更多 基于Markov決策過程的模型602。儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602是基 于Markov決策過程的模型，用于優(yōu)化給定某種目標(biāo)客觀且受系統(tǒng)約束的情況下的開發(fā)計(jì) 劃。另外，基于Markov決策過程的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)600可進(jìn)一步包括輸入數(shù)據(jù)的至 少一個(gè)源604、儲(chǔ)層和/或地面設(shè)施動(dòng)態(tài)的高保真度模型606，以及求解例程608。儲(chǔ)層和 /或地面設(shè)施動(dòng)態(tài)的高保真度模型606是高保真度模型，或儲(chǔ)層模擬模型，或儲(chǔ)層模擬模型 的集合，其中集合中的每個(gè)元素代表不確定性空間的一種可能的實(shí)現(xiàn)。高保真度模型也可 以僅是包含不確定性的一個(gè)儲(chǔ)層模擬模型。高保真度模型用來在隨后迭代中更新并調(diào)節(jié)儲(chǔ) 層開發(fā)計(jì)劃的基于Markov決策過程的模型602。當(dāng)儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程 的模型602可能在其約束方程的系統(tǒng)內(nèi)含有儲(chǔ)層和/或地面設(shè)施動(dòng)態(tài)的高保真度模型606 的近似時(shí)，這種更新和調(diào)節(jié)提供改進(jìn)(refinement)。包括在儲(chǔ)層開發(fā)計(jì)劃的基于Markov決 策過程的模型602內(nèi)的低保真度模型提供儲(chǔ)層和/或地面設(shè)施動(dòng)態(tài)的高保真度模型606的 該近似。與高保真度模型的情況類似，低保真度模型可以是各低保真度模型的集合，以使每 個(gè)元素是高保真度模型的集合中元素的簡(jiǎn)化?？商鎿Q地，低保真度模型可作為包含不確定 性的單獨(dú)模型存在。盡管在示例性實(shí)施例中針對(duì)高保真度模型和低保真度模型中的每種保 真度模型列舉了兩種形式，但是可針對(duì)這些模型中的每個(gè)設(shè)想其他形式與組合，而不背離 示例性實(shí)施例的范圍和精神。儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602可以自輸入數(shù)據(jù)的源604接收 輸入數(shù)據(jù)。輸入數(shù)據(jù)可包括在一個(gè)或更多數(shù)據(jù)表、一個(gè)或更多數(shù)據(jù)庫、通過計(jì)算機(jī)網(wǎng)絡(luò)或互 聯(lián)網(wǎng)提供的信息、人工錄入、來自GUI的用戶輸入等中的數(shù)據(jù)項(xiàng)。在處理輸入數(shù)據(jù)后，儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602可提供輸出 至研究中的儲(chǔ)層的儲(chǔ)層和/或地面設(shè)施動(dòng)態(tài)的高保真度模型606。儲(chǔ)層和/或地面設(shè)施動(dòng) 態(tài)的高保真度模型606可進(jìn)而提供返回儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602 的輸出數(shù)據(jù)。最終，儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602可以與求解例程608 接口(interface) ο本示例性實(shí)施例提供基于Markov決策過程的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)600，其中與儲(chǔ) 層有關(guān)的數(shù)據(jù)中的固有不確定性直接并入到儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型 602內(nèi)。通過將數(shù)據(jù)中的不確定性并入到儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的模型602 內(nèi)，可以獲得與不確定性的各種實(shí)現(xiàn)中的決策有關(guān)的權(quán)衡，并且由此可以在做出關(guān)于石油和/或天然氣儲(chǔ)層開發(fā)計(jì)劃的決策時(shí)利用更好的信息。通常，基于Markov決策過程的模型可以以解析或數(shù)字的方式被公式化、求解，并 經(jīng)分析以向決策者提供有用信息?；贛arkov決策過程的模型的諸多目標(biāo)之一是在整 個(gè)計(jì)劃范圍內(nèi)最小化預(yù)期成本或最大化預(yù)期收益，其中不確定性被并入到模型內(nèi)。基于 Markov決策過程的模型或隨機(jī)動(dòng)態(tài)規(guī)劃是動(dòng)態(tài)規(guī)劃的延伸，其中不確定性并入到優(yōu)化模型 中?；贛arkov決策過程的模型與動(dòng)態(tài)規(guī)劃模型類似，除了決定性轉(zhuǎn)換函數(shù)由代表系統(tǒng)中 的不確定性的轉(zhuǎn)換概率矩陣替代。因此，對(duì)于階段η中的給定狀態(tài)和行為，系統(tǒng)在階段n+1 中的狀態(tài)被概率性地建模。基于Markov決策過程的模型可表示為(S，A，P，R)，其中S是狀 態(tài)空間，A(S)是狀態(tài)s中可采取的行為的集合，P(s，s’，a)是給定行為a下系統(tǒng)將從狀態(tài)s 轉(zhuǎn)換為狀態(tài)S’的概率，而R(s，a)是在狀態(tài)s中選擇行為a的收益。下面示出基于Markov 決策過程的模型的一般公式
權(quán)利要求
1.一種儲(chǔ)層開發(fā)計(jì)劃的方法，包含以下步驟 接收與儲(chǔ)層開發(fā)相關(guān)的數(shù)據(jù)；通過計(jì)算機(jī)實(shí)現(xiàn)的基于Markov決策過程的模型處理接收的數(shù)據(jù)；以及 響應(yīng)通過所述計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型處理所述接收的數(shù)據(jù)而生成 儲(chǔ)層開發(fā)計(jì)劃。
2.根據(jù)權(quán)利要求1所述的方法，其中生成儲(chǔ)層開發(fā)計(jì)劃的步驟包含根據(jù)與所述接收的 數(shù)據(jù)關(guān)聯(lián)的不確定性空間生成所述儲(chǔ)層開發(fā)計(jì)劃。
3.根據(jù)權(quán)利要求1所述的方法，其中所述計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型包 含基于所述接收的數(shù)據(jù)和不確定性空間優(yōu)化所述儲(chǔ)層開發(fā)計(jì)劃的至少某方面。
4.根據(jù)權(quán)利要求1所述的方法，其中接收數(shù)據(jù)的步驟包含接收已知的數(shù)據(jù)參數(shù)和不確 定的數(shù)據(jù)參數(shù)，并且其中通過所述計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型處理所述接收的數(shù)據(jù)包括使 用并入所述不確定數(shù)據(jù)參數(shù)的基于Markov決策過程的模型處理所述數(shù)據(jù)。
5.根據(jù)權(quán)利要求1所述的方法，其中不確定性空間與所述接收的數(shù)據(jù)有關(guān)，并且 其中通過所述計(jì)算機(jī)實(shí)施的基于Markov決策過程的模型處理所述接收的數(shù)據(jù)包含整體考慮所述不確定性空間。
6.根據(jù)權(quán)利要求1所述的方法，其中所述基于Markov決策過程的模型包含 多個(gè)階段，每個(gè)階段表示時(shí)間上的不連續(xù)步幅；每個(gè)階段中的多個(gè)狀態(tài)，每個(gè)狀態(tài)表示所述儲(chǔ)層開發(fā)計(jì)劃的潛在狀態(tài)；以及 多個(gè)轉(zhuǎn)換概率，每個(gè)轉(zhuǎn)換概率表示所述數(shù)據(jù)中的不確定性，每個(gè)轉(zhuǎn)換概率都由所述儲(chǔ) 層開發(fā)計(jì)劃的當(dāng)前狀態(tài)和將采取的決策來確定； 其中未來狀態(tài)根據(jù)所述轉(zhuǎn)換概率確定。
7.根據(jù)權(quán)利要求1所述的方法，其中允許決策者在所述基于Markov決策過程的模型內(nèi) 的多個(gè)階段中的每個(gè)階段采取一個(gè)或更多糾正決策。
8.一種儲(chǔ)層開發(fā)計(jì)劃的方法，包含以下步驟接收與儲(chǔ)層開發(fā)計(jì)劃相關(guān)的數(shù)據(jù)，其中不確定性與所述數(shù)據(jù)有關(guān)； 使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模型處理接收的數(shù)據(jù)； 響應(yīng)使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模型處理接收的數(shù)據(jù)而產(chǎn)生儲(chǔ)層開發(fā)計(jì) 劃的至少某部分；以及當(dāng)所述不確定性隨時(shí)間逐漸顯露時(shí)，采取一個(gè)或更多糾正決策。
9.根據(jù)權(quán)利要求8所述的方法，其中所述基于計(jì)算機(jī)的優(yōu)化模型是基于Markov決策過 程的模型。
10.根據(jù)權(quán)利要求9所述的方法，其中在所述基于Markov決策過程的模型中并入所述 不確定性包括在所述不確定性的多個(gè)實(shí)現(xiàn)中獲得權(quán)衡。
11.根據(jù)權(quán)利要求8所述的方法，其中響應(yīng)使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模 型處理接收的數(shù)據(jù)而產(chǎn)生所述儲(chǔ)層開發(fā)計(jì)劃的至少某部分的步驟包括在整個(gè)不確定性空間實(shí)現(xiàn)優(yōu)化問題的可行性。
12.根據(jù)權(quán)利要求8所述的方法，其中響應(yīng)使用并入不確定性的基于計(jì)算機(jī)的優(yōu)化模 型處理接收的數(shù)據(jù)而產(chǎn)生所述儲(chǔ)層開發(fā)計(jì)劃的至少某部分的步驟包括系統(tǒng)地處理所述基于Markov決策過程的模型內(nèi)的不確定性數(shù)據(jù)。
13.一種關(guān)于石油資源開發(fā)的決策支持的方法，包含以下步驟接收關(guān)于決策的多個(gè)數(shù)據(jù)元素，所述決策與開發(fā)石油儲(chǔ)層有關(guān)，其中不確定性的相應(yīng) 特征與所述數(shù)據(jù)元素中的每個(gè)有關(guān)；以及響應(yīng)使用基于計(jì)算機(jī)的基于Markov決策過程的模型處理所述數(shù)據(jù)元素中的每個(gè)和不 確定性的所述相應(yīng)特征中的每個(gè)，輸出對(duì)所述決策的建議。
14.根據(jù)權(quán)利要求13所述的方法，其中所述基于Markov決策過程的模型并入不確定性 的所述相應(yīng)特征中的每個(gè)。
15.根據(jù)權(quán)利要求13所述的方法，其中使用所述基于計(jì)算機(jī)的基于Markov決策過程的 模型處理所述數(shù)據(jù)元素中的每個(gè)和不確定性的所述相應(yīng)特征中的每個(gè)包含覆蓋不確定性 空間。
16.一種優(yōu)化儲(chǔ)層開發(fā)計(jì)劃的基于計(jì)算機(jī)的方法，其包含 提供并入不確定性的輸入數(shù)據(jù)；使用儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的高保真度模型利用所述輸入數(shù)據(jù)生成所述儲(chǔ)層的第一模 擬，其中所述第一模擬生成第一高保真度輸出數(shù)據(jù)；使用所述輸入數(shù)據(jù)和所述第一高保真度輸出數(shù)據(jù)，生成儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的低保真 度模型，其中所述低保真度模型生成預(yù)測(cè)；利用所述輸入數(shù)據(jù)和儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的所述低保真度模型優(yōu)化儲(chǔ)層開發(fā)計(jì)劃模 型，其中所述儲(chǔ)層開發(fā)計(jì)劃模型生成儲(chǔ)層開發(fā)計(jì)劃輸出數(shù)據(jù)，其中所述儲(chǔ)層開發(fā)計(jì)劃模型 包含基于Markov決策過程的模型；使用儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的所述高保真度模型利用所述輸入數(shù)據(jù)和所述儲(chǔ)層開發(fā)計(jì) 劃輸出數(shù)據(jù)執(zhí)行所述儲(chǔ)層的第二模擬，其中所述第二模擬生成第二高保真度輸出數(shù)據(jù)； 比較所述第二高保真度輸出數(shù)據(jù)與所述低保真度模型的預(yù)測(cè)； 重復(fù)包含生成儲(chǔ)層或地面設(shè)施動(dòng)態(tài)的低保真度模型、優(yōu)化儲(chǔ)層開發(fā)計(jì)劃模型、使用儲(chǔ) 層或地面設(shè)施動(dòng)態(tài)的所述高保真度模型執(zhí)行所述儲(chǔ)層的第二模擬以及比較所述第二高保 真度輸出數(shù)據(jù)與所述低保真度模型的預(yù)測(cè)的步驟，直到所述第二高保真度輸出數(shù)據(jù)與所述 低保真度模型的預(yù)測(cè)基本一致。
17.根據(jù)權(quán)利要求16所述的方法，進(jìn)一步包含響應(yīng)所述第二高保真度輸出數(shù)據(jù)與所述低保真度模型的預(yù)測(cè)基本一致而生成開發(fā)計(jì)劃。
18.根據(jù)權(quán)利要求16所述的方法，其中與所述基于Markov決策過程的模型接口的求解 例程幫助所述基于Markov決策過程的模型優(yōu)化所述儲(chǔ)層的開發(fā)計(jì)劃。
19.根據(jù)權(quán)利要求16所述的方法，其中所述基于Markov決策過程的模型包含幫助優(yōu)化 所述儲(chǔ)層的開發(fā)計(jì)劃的求解例程。
20.一種從地下儲(chǔ)層生產(chǎn)碳?xì)浠衔锏姆椒ǎ?基于輸入數(shù)據(jù)生成儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)；根據(jù)不確定性空間優(yōu)化所述儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)，其中所述儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)使用基于 Markov決策過程的模型進(jìn)行優(yōu)化；以及根據(jù)來自優(yōu)化的儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)的輸出從所述儲(chǔ)層生產(chǎn)碳?xì)浠衔铩?br> 21.根據(jù)權(quán)利要求20所述的方法，其中所述輸入數(shù)據(jù)包含確定性分量和非確定性分量，并且其中根據(jù)所述不確定性空間優(yōu)化所述儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)的步驟包括 使用所述基于Markov決策過程的模型考慮每個(gè)所述非確定性分量。
22.根據(jù)權(quán)利要求20所述的方法，其中所述基于Markov決策過程的模型并入所述輸入 數(shù)據(jù)的不確定性。
23.根據(jù)權(quán)利要求20所述的方法，其中所述不確定性空間指定所述輸入數(shù)據(jù)的固有的 不確定性。
24.根據(jù)權(quán)利要求20所述的方法，其中所述儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)包括 包含低保真度儲(chǔ)層模型的基于Markov決策過程的模型；以及 高保真度儲(chǔ)層模型，其中所述高保真度模型從所述基于Markov決策過程的模型接受一個(gè)或更多參數(shù)輸入 數(shù)據(jù)，并向所述基于Markov決策過程的模型提供一個(gè)或更多儲(chǔ)層或地面設(shè)施性質(zhì)輸入數(shù) 據(jù)。
25.根據(jù)權(quán)利要求20所述的方法，其中優(yōu)化所述儲(chǔ)層開發(fā)計(jì)劃系統(tǒng)包括 使用高保真度模型模擬所述儲(chǔ)層的操作；以及使用低保真度模型模擬所述儲(chǔ)層的操作。
全文摘要
本發(fā)明涉及一種儲(chǔ)層開發(fā)計(jì)劃的基于Markov決策過程的支持工具，該工具可包含輸入數(shù)據(jù)源、優(yōu)化模型、模擬儲(chǔ)層的高保真度模型，以及與優(yōu)化模型接口的一個(gè)或更多求解例程。優(yōu)化模型可考慮直接在優(yōu)化模型內(nèi)具有不確定性的未知參數(shù)。模型包含決策者在真實(shí)世界中具有的靈活性，并允許決策者基于新信息調(diào)節(jié)決策。模型可以系統(tǒng)地處理不確定數(shù)據(jù)，例如全面地或甚至考慮所有不確定數(shù)據(jù)。因此，優(yōu)化模型可提供靈活或魯棒的解決方案，該解決方案在不確定性空間內(nèi)仍可行。一旦儲(chǔ)層模型被優(yōu)化，則可生成最終的開發(fā)計(jì)劃。
文檔編號(hào)G06F15/18GK102007485SQ200980113555
公開日2011年4月6日 申請(qǐng)日期2009年1月30日 優(yōu)先權(quán)日2008年4月18日
發(fā)明者K·C·弗爾曼, V·戈?duì)?申請(qǐng)人:?？松梨谏嫌窝芯抗?br>