Vai al contenuto principale
← Torna alle notizie

KIWI: la chiamata GPU→CPU in sub-microsecondo, fino a 2,3x più veloce per l'expert parallel

Ricerca
Il paper KIWI (arXiv) ribalta la gerarchia delle comunicazioni device-initiated: il reverse offload sui thread host, esposto come interfaccia programmabile, batte i backend GPUDirect — fino a 2,3x di latenza in meno sull'expert-parallel MoE su GPU AMD e -29% di tempo per token in vLLM.

Ricevi il prossimo punto sull'IA locale

Ogni settimana, la selezione del meglio di iaLocale: articoli, notizie e risorse sull'IA locale, e altro ancora.

Dopo l'iscrizione ricevi una email di conferma (double opt-in). Senza conferma non inviamo nulla. Nessuno spam, ti promettiamo.

Risorse correlate

Strumenti e risorse dell'archivio iaLocale pertinenti a questo contenuto.