Inferencia y servicio

TensorRT-LLM

TensorRT-LLM: datos del nivel gratuito, límites, puntuación y fuentes verificables para comparar esta opción de inferencia y servicio.

Puntuación

8.3 / 10

Nivel gratuito

Sólido

Lenguaje

Python

Licencia

Custom (see repo)

Estrellas

14k★

Autohospedaje

Sí

Repositorio

NVIDIA/TensorRT-LLM

Sitio web

https://nvidia.github.io/TensorRT-LLM