単体のGPUでもGPT-3などの大規模言語モデルを処理できる「FlexGen」が登場

GPT-3などの大規模言語モデルを処理するには高い計算量とメモリが必要なため、通常は複数のハイエンドなAIアクセラレーターが求められます。この処理を、メモリ16GBのNVIDIA Tesla T4やメモリ24GBのNVIDIA GeForce RTX 3090など、メモ

from Pocket https://gigazine.net/news/20230222-flexgen/
via IFTTT