単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場



GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモ

from Pocket https://gigazine.net/news/20230222-flexgen/
via IFTTT

このブログの人気の投稿

Belkin、コンパクトながら100W PD充電に対応した4ポートUSB-Cハブ「Connect USB-C to 4ポートUSB-Cハブ」を発売

温暖化で海面上昇するとどこが水没するか一発で分かる地図「Flood Maps」レビュー、未来の日本の海岸線はどうなっているのか?

ウェブサイトのユーザーを識別する「フィンガープリント」は考えられている以上にタチが悪いかもしれない