科技行者Habana Labs:AI訓練處理器如何煉成?

Habana Labs:AI訓練處理器如何煉成?

Habana Labs:AI訓練處理器如何煉成?

Habana Labs:AI訓練處理器如何煉成?

2019年6月26日 作者:周雅 科技行者
  • 分享文章到微信

    掃一掃
    分享文章到微信

  • 關注官方公眾號-科技行者

    掃一掃
    關注官方公眾號
    科技行者

上周,以色列AI處理器開發商Habana Labs宣布,推出人工智能處理器Habana Gaudi,專供機器學習訓練(inference)任務。公司首席商務官艾坦·麥地那稱 Gaudi “業界性能最高”,基于Gaudi的訓練系統,實現了比擁有相同數量的GPU系統高近四倍的處理能力。

作者:周雅 來源:科技行者 2019年6月26日

關鍵字:AI 人工智能 Habana Labs GAudi

科技行者 6月26日 北京消息:以色列AI處理器開發商Habana Labs上周宣布,推出人工智能處理器Habana Gaudi,專供機器學習訓練(inference)任務。公司首席商務官艾坦·麥地那 (Eitan Medina)稱 Gaudi “業界性能最高”,基于Gaudi的訓練系統,實現了比擁有相同數量的GPU系統高近四倍的處理能力。

Habana Labs這家公司創立于2016年,總部位于以色列特拉維夫,官方稱,公司專精于使用人工智能提升芯片處理效能,同時降低芯片成本與電力消耗,旗下產品主要針對AI的推理預測和訓練。2018年11月,在英特爾旗下創投基金英特爾資本(Intel Capital)的領投下,該公司完成7500萬美元的B輪募資,迄今募資約1.2億美元。

一般而言,AI計算大致分為兩個層面,首先是對模型進行訓練(Training);之后訓練出的模型響應實際請求,做出推理(Inference)。

去年,Habana Labs推出旗下第一款產品——Goya推理處理器,主要用于AI推理和預測。而今年第二款產品Gaudi,主要用于AI訓練。也就是說,至此Habana在AI芯片的訓練、推理兩端初步形成了完整產品線。

在AI處理器的訓練端,此前英偉達旗下的GPU(圖形處理器)可謂一家獨大(多數推理任務則仍由英特爾CPU承擔),而Gaudi的出現,就有言論稱“Gaudi對標英偉達GPU產品”。實際上這話并非空穴來風,現場,Eitan Medina直言“要做人工智能芯片產業的領導者”,底氣就是Goya和Gaudi。

“人工智能處理器的性能包括兩點,計算和延遲。” Eitan Medina認為,原用于通用計算的GPU和CPU,適用于人工智能計算處理時,在架構上存在“先天不足”,因此從性能方面看,針對AI需求設計的專用芯片架構存在優勢。

Habana自然考慮到了這點。據Eitan Medina所說,公司工程師從最早、最基礎層面就開始對芯片的架構進行了設計,專門針對AI需求。其團隊成員也主要來自處理器、DSP、系統設計以及網絡設計等領域全球知名企業的精英,能夠支持Habana從軟件到硬件的研發需求。

比如Goya,Habana專門設計了一款獨特的架構,叫做“Tensor processor core(相當于張量處理核心)”,在里面還形成了一個“GEMM(卷積操作中的矩陣乘法)”,通過這種方式,既可以提供更好的性價比,又可以讓Goya支持不同神經網絡的結構,處理不同的數據類型。所以在一些高性能領域,比如自動駕駛,Goya具有優勢。

再看Gaudi,這款AI處理器的外形設計遵循了目前一個比較流行的新架構,叫做OCP(Open Compute Platform)——是Facebook發布的開源計算平臺。

“為什么客戶要選擇Gaudi?”Eitan Medina說,第一,Gaudi給客戶提供了更強的處理能力,以及更好的性能功耗;第二,通過內置RDMA以太網處理單元,給客戶提供了一種以前無法實現的可拓展能力。這兩點有何好處呢?按照Habana Labs首席執行官David Dahan的話來說就是,人工智能模型訓練所需的計算能力每年呈指數增長,因此,提高生產率和可擴展性,解決數據中心和云計算對計算能力的迫切需求成為至關重要的任務。

在AI訓練中,可擴展能力主要與網絡相關。在拓展性方面,Habana Labs稱,由于Gaudi處理器集成RoCE v2(RDMA over Converged Ethernet)網絡規范,并可搭載最多20個以太網接口,架構上可幾乎實現無限擴展,即使是在較小Batch Size的情況下,也能保持高計算力,因此基于Gaudi處理器的訓練性能,可實現從單一設備擴展至由數百個處理器搭建的大型系統的線性擴展。“與Habana的標準設計相比,基于GPU的系統依賴于專有的系統接口,對系統設計人員來說,這從本質上限制了可擴展性和選擇性。” Eitan Medina說。

Gaudi也將支持主流深度學習框架,包括谷歌開發的TensorFlow、Facebook開發的PyTorch和MXNet等;軟件端,通過Habana Labs自有的SynapseAI軟件棧對訓練模型輸入進行分析和優化,其工具鏈保持開放,供客戶添加專有內核;同時,Habana Labs也添加了Linux驅動支持。

Gaudi配備32GB HBM-2內存,目前提供兩種規格:

• HL-200 - PCIe卡,設有8個100Gb以太網端口;

• HL-205 - 基于OCP-OAM標準的子卡,設有10個100Gb以太網端口或20個50Gb以太網端口。

另外,Habana推出了一款名為HLS-1的8-Gaudi系統,配備了8個HL-205子卡、PCIe外部主機連接器和24個用于連接現有以太網交換機的100Gbps以太網端口,讓客戶能夠通過在19英寸標準機柜中部署多個HLS-1系統實現性能擴展。

Habana Labs將于2019年下半年面向特定客戶提供Gaudi樣品。


    最新文章
    熱門標簽
    北京快乐8