本申請涉及大數(shù)據(jù)技術(shù)在金融風(fēng)險(xiǎn)領(lǐng)域的應(yīng)用，具體涉及一種基于大數(shù)據(jù)對金融風(fēng)險(xiǎn)進(jìn)行全面評估分析的方法及系統(tǒng)。

背景技術(shù)：

1、隨著金融業(yè)務(wù)的快速擴(kuò)展以及金融產(chǎn)品的日漸豐富，對金融產(chǎn)品的購買需求也日益增強(qiáng)，與此同時(shí)，各金融機(jī)構(gòu)推出種類繁多的信貸產(chǎn)品，貸款業(yè)務(wù)的發(fā)展使得競爭越發(fā)激烈，信貸業(yè)務(wù)的場景也越來越復(fù)雜化，在辦理信用貸款等金融業(yè)務(wù)時(shí)，為了減小壞賬率，金融機(jī)構(gòu)需要對待辦理的金融業(yè)務(wù)進(jìn)行風(fēng)險(xiǎn)評估。

2、目前，金融業(yè)務(wù)風(fēng)險(xiǎn)評估是在業(yè)務(wù)系統(tǒng)中進(jìn)行的，風(fēng)險(xiǎn)策略迭代需要大量的業(yè)務(wù)系統(tǒng)編碼開發(fā)，業(yè)務(wù)系統(tǒng)不僅要承擔(dān)業(yè)務(wù)的辦理，還需要進(jìn)行風(fēng)險(xiǎn)評估，工作量較大，評估效率較低，容易引起業(yè)務(wù)系統(tǒng)的卡單，不但不能快速應(yīng)對風(fēng)險(xiǎn)的變化，而且不能進(jìn)行全面有效的金融風(fēng)險(xiǎn)評估。

技術(shù)實(shí)現(xiàn)思路

1、鑒于此，本申請實(shí)施例提供了一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法及系統(tǒng)，以解決上述技術(shù)問題。

2、本申請實(shí)施例的第一方面提供了一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，包括：

3、根據(jù)預(yù)設(shè)數(shù)據(jù)采集策略，采集金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，并構(gòu)建基于hadoop的金融大數(shù)據(jù)架構(gòu)；

4、通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，得到若干個(gè)因子，根據(jù)因子和其對應(yīng)的方差貢獻(xiàn)率，得到金融風(fēng)險(xiǎn)評估值；

5、根據(jù)金融風(fēng)險(xiǎn)評估值，并利用序列到序列的方法自動生成金融風(fēng)險(xiǎn)評估報(bào)告；

6、將金融風(fēng)險(xiǎn)評估報(bào)告，結(jié)合預(yù)設(shè)的界面布局原則，進(jìn)行可視化展示。

7、進(jìn)一步的，所述根據(jù)預(yù)設(shè)數(shù)據(jù)采集策略，采集金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，并構(gòu)建基于hadoop的金融大數(shù)據(jù)架構(gòu)，其中，預(yù)設(shè)數(shù)據(jù)采集策略包括內(nèi)部數(shù)據(jù)整合、外部數(shù)據(jù)獲取和合作與共享數(shù)據(jù)訪問。

8、進(jìn)一步的，所述外部數(shù)據(jù)獲取為根據(jù)待爬取網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度和重要程度，基于遺傳算法篩選出目標(biāo)網(wǎng)頁，爬取目標(biāo)網(wǎng)頁的金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)。

9、進(jìn)一步的，所述根據(jù)待爬取網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度和重要程度，基于遺傳算法篩選出目標(biāo)網(wǎng)頁，爬取目標(biāo)網(wǎng)頁的金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，包括如下步驟：

10、步驟11，獲取待爬取網(wǎng)頁網(wǎng)址隊(duì)列；

11、步驟12，逐一下載并解析網(wǎng)頁，并根據(jù)網(wǎng)頁中的關(guān)鍵詞和關(guān)鍵詞權(quán)重，計(jì)算網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度值；

12、步驟13，基于遺傳算法進(jìn)行選擇操作，篩選出相關(guān)度值高于預(yù)設(shè)閾值的網(wǎng)頁，并組建集合a；

13、步驟14，基于遺傳算法進(jìn)行交叉操作，獲取集合a中所有網(wǎng)頁包含的超鏈接，按照主題重要性排序，選取靠前的鏈接更新集合a；

14、步驟15，基于遺傳算法進(jìn)行變異操作，通過搜索引擎查詢拼接主題關(guān)鍵詞，選出靠前的結(jié)果鏈接，組建集合b；

15、步驟16，基于遺傳算法進(jìn)行合并操作，使得集合c＝a+b，并遺傳到下一代；

16、步驟17，判斷是否滿足預(yù)設(shè)的終止條件，若是則輸出集合c，若否則返回步驟11；

17、步驟18，爬取集合c中網(wǎng)頁的金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)。

18、進(jìn)一步的，所述逐一下載并解析網(wǎng)頁，并根據(jù)網(wǎng)頁中的關(guān)鍵詞和關(guān)鍵詞權(quán)重，計(jì)算網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度值，其中，計(jì)算公式為：

19、

20、上式中，sim(p)表示相關(guān)度值，ηn表示第n維關(guān)鍵詞在網(wǎng)頁中出現(xiàn)的絕對詞頻，αn表示第n維關(guān)鍵詞的權(quán)重。

21、進(jìn)一步的，所述通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，得到若干個(gè)因子，根據(jù)因子和其對應(yīng)的方差貢獻(xiàn)率，得到金融風(fēng)險(xiǎn)評估值，具體包括：

22、根據(jù)金融大數(shù)據(jù)得到相關(guān)系數(shù)矩陣，并將相關(guān)系數(shù)小于預(yù)設(shè)值的剔除；

23、根據(jù)相關(guān)系數(shù)矩陣計(jì)算因子載荷矩陣，并根據(jù)因子載荷矩陣構(gòu)造因子變量；

24、計(jì)算每個(gè)樣本的因子變量得分，根據(jù)因子變量得分和方差貢獻(xiàn)率算得到金融風(fēng)險(xiǎn)評估值。

25、進(jìn)一步的，所述根據(jù)金融風(fēng)險(xiǎn)評估值，并利用序列到序列的方法自動生成金融風(fēng)險(xiǎn)評估報(bào)告，具體為：

26、通過提取器提取金融風(fēng)險(xiǎn)評估值的特征，作為初始序列；

27、對初始序列進(jìn)行編碼解碼后得到金融風(fēng)險(xiǎn)評估報(bào)告。

28、進(jìn)一步的，所述將金融風(fēng)險(xiǎn)評估報(bào)告，結(jié)合預(yù)設(shè)的界面布局原則，進(jìn)行可視化展示，包括：

29、將客觀認(rèn)知規(guī)律與用戶主觀認(rèn)知相結(jié)合，得到界面布局原則，并將界面布局原則轉(zhuǎn)化為可計(jì)算的界面布局多目標(biāo)優(yōu)化函數(shù)；

30、通過預(yù)設(shè)算法對目標(biāo)優(yōu)化函數(shù)編碼，尋求空間最優(yōu)解，進(jìn)而得到金融風(fēng)險(xiǎn)評估報(bào)告的界面布局最優(yōu)方案。

31、進(jìn)一步的，所述將客觀認(rèn)知規(guī)律與用戶主觀認(rèn)知相結(jié)合，得到界面布局原則，并將界面布局原則轉(zhuǎn)化為可計(jì)算的界面布局多目標(biāo)優(yōu)化函數(shù)，其中，目標(biāo)優(yōu)化函數(shù)為：

32、

33、上式中，si表示操作順序，pi表示重要度和操作頻率，oi表示相關(guān)性原則，ω1i和ω2i表示位置控制系數(shù)，dia是元素i的幾何中心的位置坐標(biāo)與最佳布置點(diǎn)a的距離，damax表示待布局區(qū)域中的元素位置點(diǎn)與最佳布置點(diǎn)a的最大距離。

34、本申請實(shí)施例的第二方面提供了一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析系統(tǒng)，包括：

35、采集模塊，用于根據(jù)預(yù)設(shè)數(shù)據(jù)采集策略，采集金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，并構(gòu)建基于hadoop的金融大數(shù)據(jù)架構(gòu)；

36、計(jì)算模塊，用于通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，得到若干個(gè)因子，根據(jù)因子和其對應(yīng)的方差貢獻(xiàn)率，得到金融風(fēng)險(xiǎn)評估值；

37、報(bào)告模塊，用于根據(jù)金融風(fēng)險(xiǎn)評估值，并利用序列到序列的方法自動生成金融風(fēng)險(xiǎn)評估報(bào)告；

38、顯示模塊，用于將金融風(fēng)險(xiǎn)評估報(bào)告，結(jié)合預(yù)設(shè)的界面布局原則，進(jìn)行可視化展示。

39、本申請實(shí)施例的第三方面提供了一種終端，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如第一方面所述方法的步驟。

40、本申請實(shí)施例的第四方面提供了一種計(jì)算機(jī)可讀存儲介質(zhì)，所述計(jì)算機(jī)可讀存儲介質(zhì)存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如第一方面所述方法的步驟。

41、本申請的第五方面提供了一種計(jì)算機(jī)程序產(chǎn)品，當(dāng)所述計(jì)算機(jī)程序產(chǎn)品在終端上運(yùn)行時(shí)，使得所述終端執(zhí)行上述第一方面所述方法的步驟。

42、由上可見，本申請實(shí)施例通過構(gòu)建基于hadoop的金融大數(shù)據(jù)架構(gòu)，并通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，進(jìn)而計(jì)算得到金融風(fēng)險(xiǎn)評估值，不但能夠全面獲取處理金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，使得基礎(chǔ)數(shù)據(jù)更加準(zhǔn)確、可靠，而且能夠快速得到金融風(fēng)險(xiǎn)數(shù)據(jù)，有效降低計(jì)算量，節(jié)約計(jì)算成本，進(jìn)而快速應(yīng)對風(fēng)險(xiǎn)變化。

技術(shù)特征：

1.一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述根據(jù)預(yù)設(shè)數(shù)據(jù)采集策略，采集金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，并構(gòu)建基于hadoop的金融大數(shù)據(jù)架構(gòu)，其中，預(yù)設(shè)數(shù)據(jù)采集策略包括內(nèi)部數(shù)據(jù)整合、外部數(shù)據(jù)獲取和合作與共享數(shù)據(jù)訪問。

3.根據(jù)權(quán)利要求2所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述外部數(shù)據(jù)獲取為根據(jù)待爬取網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度和重要程度，基于遺傳算法篩選出目標(biāo)網(wǎng)頁，爬取目標(biāo)網(wǎng)頁的金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述根據(jù)待爬取網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度和重要程度，基于遺傳算法篩選出目標(biāo)網(wǎng)頁，爬取目標(biāo)網(wǎng)頁的金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，包括如下步驟：

5.根據(jù)權(quán)利要求4所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述逐一下載并解析網(wǎng)頁，并根據(jù)網(wǎng)頁中的關(guān)鍵詞和關(guān)鍵詞權(quán)重，計(jì)算網(wǎng)頁與金融風(fēng)險(xiǎn)評估主題的相關(guān)度值，其中，計(jì)算公式為：

6.根據(jù)權(quán)利要求1所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，得到若干個(gè)因子，根據(jù)因子和其對應(yīng)的方差貢獻(xiàn)率，得到金融風(fēng)險(xiǎn)評估值，具體包括：

7.根據(jù)權(quán)利要求1所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述根據(jù)金融風(fēng)險(xiǎn)評估值，并利用序列到序列的方法自動生成金融風(fēng)險(xiǎn)評估報(bào)告，具體為：

8.根據(jù)權(quán)利要求1所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述將金融風(fēng)險(xiǎn)評估報(bào)告，結(jié)合預(yù)設(shè)的界面布局原則，進(jìn)行可視化展示，包括：

9.根據(jù)權(quán)利要求8所述基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法，其特征在于，所述將客觀認(rèn)知規(guī)律與用戶主觀認(rèn)知相結(jié)合，得到界面布局原則，并將界面布局原則轉(zhuǎn)化為可計(jì)算的界面布局多目標(biāo)優(yōu)化函數(shù)，其中，目標(biāo)優(yōu)化函數(shù)為：

10.一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析系統(tǒng)，其特征在于，包括：

技術(shù)總結(jié)
本申請屬于計(jì)算機(jī)數(shù)據(jù)處理技術(shù)領(lǐng)域，提供一種基于大數(shù)據(jù)的風(fēng)險(xiǎn)評估分析方法及系統(tǒng)，該方法包括：根據(jù)預(yù)設(shè)數(shù)據(jù)采集策略，采集金融風(fēng)險(xiǎn)評估相關(guān)數(shù)據(jù)，并構(gòu)建基于Hadoop的金融大數(shù)據(jù)架構(gòu)；通過因子分析法將金融大數(shù)據(jù)進(jìn)行分組，得到若干個(gè)因子，根據(jù)因子和其對應(yīng)的方差貢獻(xiàn)率，得到金融風(fēng)險(xiǎn)評估值；根據(jù)金融風(fēng)險(xiǎn)評估值，并利用序列到序列的方法自動生成金融風(fēng)險(xiǎn)評估報(bào)告；將金融風(fēng)險(xiǎn)評估報(bào)告，結(jié)合預(yù)設(shè)的界面布局原則，進(jìn)行可視化展示。本申請能夠快速、準(zhǔn)確計(jì)算出金融項(xiàng)目的風(fēng)險(xiǎn)值，進(jìn)而為決策者提供可靠的決策依據(jù)。

技術(shù)研發(fā)人員：陳成豪
受保護(hù)的技術(shù)使用者：廣州市華商小額貸款股份有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2025/1/6