<menuitem id="1vtxz"><video id="1vtxz"></video></menuitem>
<cite id="1vtxz"><video id="1vtxz"><menuitem id="1vtxz"></menuitem></video></cite>
<var id="1vtxz"><video id="1vtxz"><thead id="1vtxz"></thead></video></var>
<cite id="1vtxz"></cite>
<menuitem id="1vtxz"><strike id="1vtxz"><thead id="1vtxz"></thead></strike></menuitem>
<var id="1vtxz"></var>
<var id="1vtxz"></var>

分享GPU、CPU人工智能推理服務優化

2019-11-08 23:19:00

分享GPU人工智能推理服務優化,開放的視覺推理和神經網絡優化工具包,使開發人員能夠根據學習框架,不同的深度,如目前流行的TensorFlow,MXNet來自Caffe和框架,如AI模型進行了優化,并將其部署到各種產品。更高效由于以前本領域英特爾投資,包括CPU,FPGA,現場可編程門陣列等VPU Movidius視覺處理單元。
據了解,對于人工智能的推理服務優化,除了常見的CPU與GPU計算資源,對多種使用OpenVINO 進行異構計算加速人工智能算法的方案進行了開發評估,包括FPGA、VPU等計算資源。已完成開發的多種性能自動化評估工具、以及延時與吞吐最優部署自動化評估工具,也大幅提升了對不同人工智能算法加速與優化的開發效率。
GPU、CPU混用的方案,能夠在不同情況下切換算力硬件,滿足視頻平臺的各種需求。
以AI布局為例,公司里面CPU的資源池要比GPU的資源池大得多,CPU池子比較容易做負載的調度,從而得到較強的抗高峰能力;另一方面,非高并發情況下,整體基于CPU的推理成本也比GPU要低很多,吳杰珂介紹道。
在OpenVINO調整好(準確率和延時)之后,平臺整體獲得了6-8倍的延時性能的提升,基本已接近純GPU方案的性能了。
吳杰珂表示,OpenVINO 工具包自面世以來也一直在優化,在特定應用和場景下,GPU和CPU各有優略,另外,除了后臺應用,OpenVINO還能在前端如Window設備上落地優化方案。所以,對于公司來說,兩種硬件混合調用的方案能夠將優勢結合,且通過長期優化硬件的布局數量,能夠持續提升性價比。
值得一提的是,英特爾這幾年在人工智能領域的投入逐年升高,在并購Altera后不到一年,又并購了Movidius公司。
“神經網絡計算棒可能是這家公司給大部分人的第一印象,現在在京東上大約550元和750元就可以分別買到第一代和第二代計算棒。我們也正在對基于Movidius芯片的方案進行評估,當然,不是計算棒,而是單板集成多片Movidius芯片的推理加速板卡?!?br /> 由于AI雷達是實時請求的服務,需要讓TV用戶快速得到反饋結果,所以需要按全量部署資源。如果服務部署在GPU平臺上,分享協調大量的GPU資源,用于滿足峰值服務調用會產生很大的浪費,因為這些GPU的利用率在非峰值期間會很低,且價格偏高。相比之下,CPU 相對容易資源協調,價格也低許多。但 CPU 方案同樣具有弱點,就是沒有優化的服務在 CPU 上的延時性能沒法滿足需求。
基于英特爾 OpenVINO 并從計算機視覺的角度與 AI 結合應用于流媒體,已完成數十個it應用的 CPU 優化,基于CPU進行人工智能服務的優化和部署,提升CPU上人工智能服務性能最高可達到10倍以上,數千核 CPU 服務的部署,等量替換一百多個 GPU 資源,可降低深度學習云平臺超過 50% 成本。

www.moku8.com
36kr.com

上一篇:

下一篇:

Copyright? 2015-2020 輝縣資訊網版權所有

快乐十分怎么计算下期号码