Tether udostępnia TurboQuant jako open-source; współczynnik kompresji pamięci podręcznej KV lokalnych urządzeń AI do 5 razy

Zespół badawczy AI firmy Tether ogłosił udostępnienie wersji produkcyjnej TurboQuant jako open-source oraz jej integrację z pakietem QVAC SDK 0.12.0.

TurboQuant opiera się na algorytmie kompresji pamięci od Google Research, który pozwala skompresować pamięć podręczną KV środowiska uruchomieniowego AI nawet 5-krotnie, przy jednoczesnym zachowaniu jakości wyjściowej zbliżonej do modeli nieskompresowanych.

Oznacza to, że laptopy, telefony komórkowe i urządzenia brzegowe mogą obsługiwać dłuższe konwersacje, większe pliki i bardziej złożone zadania bez konieczności przesyłania danych do chmury.

To wydanie open-source obejmuje kompletny potok kwantyzacji, adaptery dla głównych frameworków wnioskowania oraz dokumentację dla programistów, skierowaną do twórców i startupów wdrażających AI na sprzęcie konsumenckim, urządzeniach brzegowych i sieciach peer-to-peer.