<menu id="6c4oc"><tt id="6c4oc"></tt></menu>
  • 新聞中心

    EEPW首頁 > 智能計算 > 設計應用 > 學貫中西(10):從RL領會如何與不確定性共舞

    學貫中西(10):從RL領會如何與不確定性共舞

    作者:高煥堂(銘傳大學、長庚大學教授,臺北)時間:2022-08-11來源:電子產品世界收藏

    1 前言

    本文引用地址:http://www.me-unplugged.com/article/202208/437253.htm

    在上一期里,我們說明了當人類的慢想 ( 創意 ) 與 的快思 ( 直覺 ) 互相平衡時,最能展現協同創造力。有了 經驗直覺來協助去蕪存菁,人類更敢超越經驗去進行大跨度的聯想和探索。

    這樣的協同組織體系,非常適合與高度不確定的外在環境 (Environment) 互動,并從外在環境獲取最大的回報。這是自然界生物 ( 有機體系 ) 的天賦學習本質,非常接近于 強化學習 (Reinforcement Learning,簡稱 ) 機制。例如,AlphaGo Zero 增添了 ,就具有更強大的探索能力,能夠在極大的圍棋上打敗人類的頂尖高手,如圖 1。

    1660207784352891.png

    圖1

    本文就藉由 來說明上述的協同創新力,如何表現于不確性環境里的決策,也進一步闡述其探索全局最優解 (Global optimum) 的思維過程。

    2 認識強化學習

    強化學習 (RL) 是機器學習 (ML) 的一種模型,它是來自于近似動態規劃 (approximate dynamic programming, ADP) 的算法。它的主要特點是:能在探索 ( 在未知的 領域 ) 和利用 ( 現有知識 ) 之間找到平衡。

    探索 (Exploration) 就是:嘗試以前從未做過的事情,以求獲得更高的報酬。而利用 (Exploitation) 就是:做當前所知能產生最大回報的事情。

    例如,假設您的住家周邊有十個餐館,而您只去過八家餐館吃飯,而有兩家還沒去消費過?;谶^去的經驗,您了解這八家餐館中的哪一家的是最實惠又好吃的。如果有一天,您的好朋友來訪,您想請他去最棒的餐館吃飯。那么,您會如何選擇出最棒的餐館呢?

    此時,方案一是:利用。就是利用您既有的知識經驗,從您經歷過的八家餐館中挑選出一家最棒的餐館。另外,方案二是:探索。就是您選擇沒去過的兩家 ( 即第九家或第十家 ),一起去品嘗新的滋味。

    如果您采取方案一:帶他去八家中最棒的餐館吃飯。那么如果第九家或第十家比這八家都更棒,就失去最好的了。反之,如果采取方案二:帶他去第九家或第十家餐館。那么如果這兩家并不如前八家好吃,就得不償失了。

    這是有趣的情境,就是通稱的 < 探索 - 利用 > 困境 (Exploration-Exploitation dilemma),我們該如何與他共舞,來做最具智慧的抉擇呢?此時,強化學習將讓“探索”和“利用”兩者取得最佳的平衡。

    3 “局部最優”與“全局最優”

    “利用”就是:做當前所知能產生最大報酬的事情。例如,剛才提到的,從您經歷過的八家餐館中挑選出一家最棒的餐館。這樣的缺點是,常常受限于 ( 現有知識 ),只能獲得區域性最優 (Local optima) 方案。傳統上,人類的學習偏重于“利用”所學的知識,去發揮所長,追求很有把握、很可能 (Probable) 的方案,并從中挑選一個最高報酬的解,如圖 2。

    1660207888693280.png

    圖2

    “探索”就是:嘗試、探索以前從未做過的事情,以求獲得可能的更高報酬。例如,剛才提到的,選擇沒去過的兩家 ( 即第九家或第十家 ) 餐館,可能比前八家更美味、好吃。然而,生物有機體系還有一種本能,去探索一些不太確定 (Improbable)的方案,然后挑選具有更高報酬的解,如圖 3。

    1660207929703069.png

    圖3

    AI 強化學習很接近這種生物學習的本質,在探索未知領域和利用現有知識,兩者之間找到了最佳平衡,來獲得全局最優 (Global optima) 方案,如圖 4。

    1660207997430538.png

    圖4

    目前,人類已經把這種“探索 - 利用”最佳平衡的技巧(算法)教給了 AI 機 器,讓 AlphaGo Zero 超越了人類的圍棋頂尖高手。如果人類也能從 AI 強化學習得到啟示,強化探索能力,則人人能探索更多可能 (Possibility),得到更多機會 (Opportunity)。

    4 面對(Uncertainty)

    不確定性的環境中,蘊含者各種可能性 (Possibility),也將給探索者帶來許多機會 (Opportunity)。就如同西方的諺語:“When you focus on problems, you get problems. When you focus on possibilities, you have more opportunities.” ( 當你專注于問題時,會引來更多問題。當你專注于可能性時,你會有更多的機會。)

    于是,我們就來關注可能性和機會。其中,“可能性”包括了:1) 很可能(Probable) ;2) 不太確定(Improbable)。其中,“不太確定”又包括:2a) 可能 (Possible);2b) 很不可能 (Impossible)。如圖 5 所示。

    1660208067118860.png

    圖5

    對于所面對的不確定性環境中,所帶來的可能性和機會,進行分門別類之后,就來采取“剪枝”策略、進行“去蕪存菁”的動作,也就是:把不可能的部分刪除掉,如圖 6。

    1660208144625316.png

    圖6

    這里的“去蕪存菁”動作,可以大幅將低風險。因為懂得避風險,才敢大膽探索。AlphaGo 也擅用“去蕪存菁”策略,來縮小探索“空間”,提高探索效果。例如,AlphaGo 的目標就是將獲勝機率最大化放在第一位,它的奏效策略是搜索途徑來實現最低風險下的獲勝機會。AlphaGo 常常會傾向為了取勝而放棄更多贏子數,其目的是為了降低不能取勝的風險,以便提高勝率。即使是很小的差距仍會納入謹慎考慮。例如,當 AlphaGo 面對 “贏 3 子,90% 勝率”和“贏 1/4 子,95% 勝率”兩種情況時,它會傾向選擇后者,力求降低風險。

    去蕪存菁之后,留下的部分,俗稱為:甜心區 (Sweet spot),如圖 7。

    1660208427621218.png

    圖7

    孫子兵法上也強調:不打沒把握的仗。股市名家巴菲特也強調:不賠錢原則。都是說明面對不確定時,重視降低風險,來提高勝率。

    5 與不確定性共舞(Living with uncertainty)

    茲拿一個童話寓言故事,來綜合前面所述的內涵。有一只小獅子肚子餓了,走到附近的草原上,依據成功經驗和熟練的技技巧 ( 戰術 ) 奮力去追小兔,填飽肚子。一日復一日,它發現捕獲的兔子日漸減少 ( 可能兔子變敏感了 ),有些困惑 ( 心生不確定性 ),回到家就問媽媽。獅子媽媽就教這小獅子,媽媽說:“你肚子餓了,就眼睛閉著,睡大覺,不要亂跑?!?/p>

    小獅子滿腦困惑,不確定感急速上升,非常不安。但母命難違,只好勉強為之,果然耳朵變靈敏了,清晰聽見兔子聲音愈來愈近,然后猛然奔出一抓,輕易捕獲,飽食一餐,繼續睡大覺。君不見,身為野獸之王的雄獅母獅,常??此葡胨X的表情。

    然而,小獅子關注于肚子餓 (focus on problems), 卻引來更多問題 (more problems),如追累了,走不動,引來生命危險等。而獅子媽媽則教小獅子不要圍繞問題,勇于拋掉無用的戰術,力求與不確定性共舞。因而發現更多機會 (more opportunities),如兔子自動送上門來。

    (注:本文轉載自《電子產品世界》雜志2022年8月期)



    關鍵詞: 202208 AI RL 不確定性

    評論


    相關推薦

    技術專區

    關閉
    熟妇女的欲乱
    <menu id="6c4oc"><tt id="6c4oc"></tt></menu>