NVIDIA Tesla T4 GPU
搭載NVIDIA Turing Tensor Core的T4 技工革命性的多精度推理性能,以加速現代人工智能的各種應用。T4封裝在節能的小型70瓦PCIe中,可針對橫向擴展服務(wù)器進(jìn)行優(yōu)化,并且旨在實(shí)時(shí)提供先進(jìn)的推理。
適用于所有AI推理工作負載T4搭載Turing Tensor Core核心,能夠提供革命性的多精度推理性能,以加速各式各樣的現代AI應用程序。
訓練
搭載NVIDIA Tesla 的服務(wù)器借助強大的性能將深度學(xué)習訓練時(shí)間從幾個(gè)月縮短到幾個(gè)小時(shí)。Turing Tensor核心技術(shù)具有多精度計算特性,實(shí)現了從FP32、FP16到INT8以及INT4精度的突破性AI技能。與CPU相比,他的訓練性能提高9.3倍。
推理
Tesla T4有著(zhù)突破性的推理性能,引入革命性的Turing Tensor Core技術(shù),具備人工智能推理的多精度計算性能。從FP32、FP16到INT8,又到INT4精度,T4的性能比CPU高出40倍,實(shí)現性能的重大突破。
搭載Turing Tensor指數性能飛躍
高速、高吞吐量推理需要依賴(lài)強大的平臺。NVIDIA Tesla T4 GPU是強大的加速器,適用于所有AI推理工作負載T4搭載Turing Tensor Core核心,能夠提供革命性的多精度推理性能,以加速各式各樣的現代AI應用程序。
顯著(zhù)節省成本
要使服務(wù)器保持多的生產(chǎn)效率,數據的中心管理者需要在性能與效率之間進(jìn)行權衡。小巧的70瓦外形設計讓T4針對可擴展服務(wù)器進(jìn)行了優(yōu)化,能效相比CPU提高了50倍之多,大大降低了運營(yíng)成本。對于深度學(xué)習推理應用程序和服務(wù)而言,一臺NVIDIA Tesla T4服務(wù)器可取代多臺通用CPU服務(wù)器,從而降低能耗并節約購置和運營(yíng)成本。
通用加速器
NVIDIA T4數據中心GPU是適用于分布式計算環(huán)境的通用加速器。革命性的多精度性能可加速深度學(xué)習訓練和推理、視頻轉碼和虛擬桌面。T4支持所有AI框架和網(wǎng)絡(luò )類(lèi)型,性能強勁,效率超群。
可實(shí)現強大的視頻轉碼性能
隨著(zhù)在線(xiàn)視頻的數量呈指數級增長(cháng),人們對有效搜索以及從視頻中獲取洞察力的結局決方案的需求也與日俱增。Tesla T4為人工智能視頻應用提供具有突破性的性能,其專(zhuān)用的硬件轉碼引擎將解碼性能提升至上一代GPU的兩倍。T4可以解碼多達38個(gè)全高清視頻流,從而可以輕松地將可擴展的深度學(xué)習集成到視頻管線(xiàn)中,以提供創(chuàng )新的智能視頻服務(wù)。NVIDIA Tensor RT是高性能推理平臺,其中包括優(yōu)化器、運行時(shí)引擎和推理服務(wù)器,專(zhuān)用于在生產(chǎn)環(huán)境中部署應用程序。相較于CPU系統,Tensor RT至多可將視頻流、推薦系統和自然語(yǔ)言處理應用程序的運行速度提升40倍。
先進(jìn)的實(shí)時(shí)推理
響應性是提高用戶(hù)參與度的關(guān)鍵,范圍涉及諸多服務(wù),例如:會(huì )話(huà)式人工智能、推薦系統和可視化搜索。隨著(zhù)模型準確性和復雜性的提高,目前立即交付正確答案所需的計算能力也在呈指數級提升。Tesla T4可提供優(yōu)于40倍的低延時(shí)吞吐量,進(jìn)而可以實(shí)時(shí)滿(mǎn)足更多的請求。