<menu id="6c4oc"><tt id="6c4oc"></tt></menu>
  • 新聞中心

    EEPW首頁 > 智能計算 > 最新動態 > OpenVINO? 發布三年半來最大升級!全新版本已開放下載

    OpenVINO? 發布三年半來最大升級!全新版本已開放下載

    作者:時間:2022-04-14來源:電子產品世界收藏

    冬奧落幕,競技魅力仍霸屏,

    本文引用地址:http://www.me-unplugged.com/article/202204/433080.htm

    14年過去,我們不再向世界解釋“我是誰”!

    每次回想,Nono仍感到心潮澎湃

    感慨之余,相信細心的小伙伴已經發現,

    在欣賞這場精彩絕倫的冰雪盛會之際,

    也推出了全新版本,

    進一步賦能開發者一起向未來,

    這也是最近三年半以來的最大升級!

    是虛張聲勢還是全新升級?

    這就讓小Nono帶大家來看看,

    新版本都有哪些驚喜吧!

    亮點

    全新版本

      長期以來,始終未曾停止創新的步伐,不斷更新迭代,系統功能也日益強大和豐富。

      在此次全新升級的版本中,OpenVINO在構建階段,通過更方便、簡潔的API獲得了生產效率的提高;在優化階段,OpenVINO支持了更廣泛的模型,顯著提高了兼容性;在部署階段,OpenVINO通過自動優化部署,實現了性能提升。接下來,讓我們從構建、優化、部署三個階段,進一步了解OpenVINO的諸多亮點吧!

    1649928919262456.png

    一、構建:更簡潔、方便的API

    1649928919342893.png

    01更多的預訓練模型

      簡約不減配,這才是更經濟、更高效能的升級。此次全新版本的OpenVINO對框架轉換、降低復雜性的同時,還能支持哪些呢?小孩子才做選擇,Nono當然是全都要。

      新版本包含18個Intel預訓練模型和15 Public預訓練模型,Intel預訓練模型將提供不同精度的IR格式模型,開發者可以直接通過OpenVINO API進行部署;Public預訓練模型來源于第三方框架訓練得到的模型文件,開發者可以通過converter.py工具,將模型輕松轉化為IR格式表達式,再進行部署。這么豐富的預訓練模型,你心動了嗎?

    1649928919155779.png

    02更簡化的依賴庫管理

      眾所周知,系統功能越豐富,需要的依賴庫就越多,當依賴庫發生改變時,很容易“牽一發而動全身”,讓系統為之焦灼,擔心殃及池魚。

      此次全新版本的OpenVINO更進一步減少了OpenVINO依賴庫的數量,最突出的則是將Inference Engine與nGraph等與runtime相關的依賴庫全部集成到了OpenVINO Runtime這一個庫中,顯著降低了對不同庫之間的依賴。開發者可以根據自己使用的硬件設備,部署環境與功能需求,有選擇性地挑選合適的動態庫進行安裝,減輕OpenVINO安裝環境的容量。

      簡而言之,依賴庫瘦身成功,不要再經常草木皆兵、擔驚受怕了!

    1649928919766998.png

    03全新的runtime API 2.0

      再高性能的系統一旦忽略了用戶,也只能是曇花一現。OpenVINO深諳此道,秉持著“用戶友好型系統才能立足未來”的更新理念推出了全新的runtime API 2.0。

      不同于之前Inference Engine的接口規范,Intel這次引入了“OpenVINO”的新全局命名空間及相關頭文件和函數方法,但整體API調用方式不變,并且新的runtime API 2.0默認支持原有的Inference Engine接口,Inference Engine的相關接口功能還將繼續保留。

    1649928918284847.png

      在新的API 2.0接口中,OpenVINO全新版本也對過程進行了簡化,開發者可以之間通過新的Tensor API來獲取結果數據。此外,全新的Configuration API引入后,通過get_property接口獲取的設備配置信息將自動獲取數據類型,開發者做進一步解析就更方便了。用戶體驗是不是看起來很棒?連Nono都忍不住想立馬去試試了。

    圖片

    二、優化:更廣泛的模型支持

    1649928918344764.png

    01Model Optimizer參數簡化

      “高端的食材往往只需要最簡約的烹飪方式,”OpenVINO也想向高端看齊,在全新升級時采用了更簡易的更新API。

      引入全新的IR v11模型表達式版本以后,IR將全面支持動態input shape,MO工具中將無需指定模型轉換后的--input_shape,并根據模型中的其他layer自動推斷動態input中的某幾個未定義的維度,提升動態輸入在runtime階段的執行效率。此外,針對類似TensorFlow這樣特定的框架結構,OpenVINO全新版本將簡化額外的轉置操作,用戶無需指定--disable_nhwc_to_nchw,MO自動加入額外的layer,確保與原框架Layout和數據精度一致。

      在極簡主義與斷舍離盛行的當下,希望小伙伴們和Nono一樣,在進行相關操作時更能得心應手哦。

    1649928918476498.png

    1649928917674853.png

    02直接支持PaddlePaddle模型

      作為國內最受歡迎的深度學習框架之一,之前OpenVINO在對Paddle模型做適配的時候,需要將Paddle模型轉化為ONNX格式,再通過MO工具對ONNX模型進行優化和加速部署,Nono的小伙伴們日常吐槽不、不、不方便。

      目前OpenVINO全新版本已經實現對PaddlePaddle模型的直接支持,MO工具可以直接完成對Paddle模型的離線轉化,同時runtime api接口也可以直接讀取加載Paddle模型到指定的硬件設備。

      沒有了ONNX這個“中間商”模型耗步驟,省去了離線轉換的過程,大大提升了Paddle開發者在Intel平臺上部署的效率。經過性能和準確性驗證,在OpenVINO?2022.1發行版中,會有13個模型涵蓋5大應用場景的Paddle模型將被直接支持。并且,其中不乏像PPYolo和PPOCR這樣非常受開發者歡迎的網絡哦。

    1649928917447456.png

    三、部署:自動優化

    1649928916502604.png

    01 Preprocessing API

      為了適配模型對于輸入數據的結構要求,我們往往需要利用OpenCV這樣的工具,在CPU上將原始數據進行前處理操作后再送入到指定的硬件處理器上中進行模型推理,此時前處理任務不僅會占用一部分的CPU資源,也無法真正發揮某些硬件加速器對前處理任務性能能上加速,好比手機廠家費盡心機將手機做“薄”,而消費者卻選擇戴上了殼。

      針對此痛點,Preprocessing API選擇將前處理任務集成到模型執行圖中,不依賴于CPU,利用指定的硬件平臺進行輸入數據預處理,更充分發揮類似GPU或VPU這樣協處理在處理圖像數據時的性能優勢。Preprocessing API拒絕了CPU,選擇了獨立,小伙伴們怎么看?

    1649928916636316.png

    02 CPU plugin支持動態輸入

      為了適配更廣泛的模型種類,OpenVINO全新版本的CPU Plugin已經支持了動態input shape,讓開發者以更便捷的方式部署類似NLP或者OCR這樣的網絡。

      在不支持動態input shape的情況下,我們往往需要通過Padding,Model reshape或者是Dimension Partitioning對模型或是輸入數據進行重構,對性能和準確性都有較大影響。

      雖然通過動態input shape可以減少相關影響,但其需要在推理的過程中才能獲取輸入數據shape,并對模型進行編譯,所以綜合性能還是不及固定input shape,此時我們建議開發者通過設置upper-bound的方式,為動態維度的數據設置寬度范圍,以更高效地進行合理的內存分配,提升性能表現。

    1649928916647066.png

    03 Auto Device plugin

      在國內外競技場都能發揮出杰出的水平,這應該是優秀的運動員必備實力,技術的競技場理應同理,卓越的可移植性對于軟件來說必不可少。

      在全新版本之前,小伙伴們必須自己手動選擇相應的部署設備,并配置設備中的相關資源。全新升級后,當開發者將定義的設備設置為“Auto”后,該接口會搜索系統中所有的算力單元以及其規格屬性,根據模型的精度、網絡結構以及用戶指定性能要求等信息,選取并配置合適的算力單元進行部署,降低不同設備平臺間的移植難度與部署難度。

    1649928916298450.png

      除了自動選擇部署硬件以外,Auto Device plugin還將進一步優化GPU/VPU的第一次推理延遲。AUTO Device plugin的策略是默認將第一次推理任務加載到CPU上運行,同時在GPU/VPU等性能更強的協處理器上編譯加載執行網絡,待CPU完成第一次推理請求后,再將任務無感地遷移到GPU/VPU等硬件設備中完成后續的推理任務。

      如今疫情肆虐,希望這次全新升級的OpenVINO能給忘帶電腦、封控在家回家的小伙伴們提供便利,和Nono一樣再也不怕不同設備平臺間的移植、部署和推理了。

    1649928916637077.png

    04 PERFORMANCE_HINT

      卓越的可移植性固然重要,但在相應的硬件平臺,需要為推理任務配置不同的參數時,相信很多小伙伴也會和Nono一樣感到很痛苦。

      為了讓開發者盡可能用一套代碼來適配不同的Intel硬件平臺。OpenVINO全新版本中引入了全新的PERFORMANCE_HINT功能,用戶只需指定他的推理任務需求:延遲優先還是推理優先。compile_model便可以自動進行相應的硬件參數配置,達到相對較優的性能目標。

      此外,針對GPU這樣并行計算能力較強的設備,新的Auto Batching功能還可以通過將PERFORMANCE_HINT指定為吞吐量模式,來隱式地開啟該功能,并自動配置batch size大小,充分激活GPU硬件性能,優化內存資源占用。

      看到這里,Npnp突然來了種錯覺,“垂死碼中驚坐起,Nono看到PERFORMANCE_HINT還能理”,不知道小伙伴們是不是也有同樣感受?

    圖片

    全新升級

    大咖怎么看

    英特爾網絡與邊緣事業部OpenVINO開發者工具副總裁Adam Burns表示:

      “最新版OpenVINO 2022.1根據數十萬開發者在過去三年多的反饋而開發,旨在簡化和自動化優化工作。最新版本增加了硬件自動發現和自動優化功能,讓軟件開發者可以在任意平臺上實現最優性能。該軟件與英特爾芯片相結合,可實現顯著的AI投資回報優勢,并可輕松部署到用戶網絡中基于英特爾技術的解決方案中?!?/p>

    Zeblok創始人兼首席執行官Mouli Narayanan認為:

      “我們的使命就是要考慮每次洞察的成本。通過采用英特爾處理器,我們實現了經濟、高能效的AI推理,并產生了極高的投資回報。這個新版OpenVINO將為我們的生態系統創造更高的價值?!?/p>

    在American Tower創新副總裁Eric Watko看來:

      “憑借American Tower的邊緣基礎設施、英特爾的OpenVINO深度學習功能和Zeblok的AI平臺即服務,我們可以為市場提供完整的智能解決方案?!?/p>

    不得不說,這次的新版本

    真的是太靈啦~

    還沒有體驗過的小伙伴們

    快來試試吧!

    復制鏈接即可進入下載頁

    http://count.eepw.com.cn/count/doRedirect?https://www.intel.cn/content/www/cn/zh/developer/tools/openvino-toolkit-download.html



    關鍵詞: OpenVINO

    評論


    相關推薦

    技術專區

    關閉
    熟妇女的欲乱
    <menu id="6c4oc"><tt id="6c4oc"></tt></menu>