Uruchamianie modeli sztucznej inteligencji bezpośrednio na zasobach sprzętowych użytkownika wyposażonych w jednostki obliczeniowe GPU. Proces implementacji wymaga dużej wiedzy technicznej obejmującej konfigurację środowiska programistycznego, zarządzanie zależnościami oraz optymalizację parametrów systemu. Stosuje się konteneryzację przez technologie takie jak Docker wykorzystywane ze względu na precyzyjne wymagania modeli co do wersji bibliotek, sterowników oraz konfiguracji systemowych - izoluje środowisko wykonawcze i zapobiega konfliktom z innymi aplikacjami. Narzędzia te często wymagają specyficznych wersji CUDA, PyTorch oraz Python'a, które muszą być dokładnie dopasowane do korzystania z modelu.