🔑Copia de los recursos e infraestructuras necesarios
Software de aplicación necesario
Para instalar la plataforma, es necesario desplegar Kubernetes.Requisitos para Kubernetes:
Version 1.27.x
Clase de almacenamiento que soporta RWX (ReadWriteMany) - https://kubernetes.io/docs/concepts/storage/persistent-volumes/
Software necesario para el funcionamiento de la plataforma:
Postgres 16.x
Redis 7.x.x
S3 Almacenamiento compatible, ex. Minio
Rabbitmq 3.12.x
Tamaño máximo del mensaje 512MB
ClickHouse 23.8
Si se requiere tolerancia a fallos y alta disponibilidad, el siguiente software debe implementarse fuera de Kubernetes (consulte Requisitos del sistema recomendados para la implementación). Es necesaria la accesibilidad a la red entre todo el software necesario y Kubernetes.
Si no se requiere tolerancia a fallos ni alta disponibilidad, todos los servicios pueden alojarse en un clúster Kubernetes. En este caso, solo se necesitará Kubernetes del software necesario para desplegar la plataforma, y el software de aplicación se desplegará automáticamente durante el proceso de instalación de la plataforma (consulte Requisitos mínimos del sistema para el despliegue en clúster de Kubernetes).
Requisitos medioambientales
Requisitos mínimos del sistema para la implantación en un clúster Kubernetes
La funcionalidad que requiera GPU no estará disponible cuando la plataforma funcione con los requisitos mínimos del sistema.
La funcionalidad de los subsistemas de reconocimiento (ASR) y generación de voz (TTS) no estará disponible.
Funcionamiento lento del servicio de FAQ integrado (RAG, LLM)
masters
Nodos maestros del orquestador Kubernetes
4 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
4
20
1/2/2024
workers
Nodos gestionados por el orquestador Kubernetes
servicios de plataforma, excepto NLU, LLM
8 hilos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
32
250
3+
nlu-worker
Nodos gestionados por el orquestador Kubernetes
Servicios NLU, servicios NER
no menos de 16 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
64
150
1+
llm-worker
Nodos gestionados por el orquestador Kubernetes
LLM&RAG servicios
no menos de 16 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
32
150
1+
Requisitos del sistema recomendados para la implantación
Clúster Kubernetes
masters
Nodos maestros del orquestador Kubernetes
4 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
4
20
1-3
workers
Nodos gestionados por el orquestador Kubernetes
Servicios de plataforma, excluidos NLU, LLM
8 subprocesos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
32
250
3+
nlu-worker
Nodos gestionados por el orquestador Kubernetes
Servicios NLU Servicios NER
no menos de 16 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
64
150
1+
llm-worker
Nodos gestionados por el orquestador Kubernetes
Servicios LLM&RAG
no menos de 8 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
64
150
1+
Rendimiento de la tarjeta gráfica GPU no inferior a NVIDIA A10 16GB
voice-workers
Nodos gestionados por el orquestador Kubernetes
Servicios vocales: Servicio ASR Servicio TTS
no menos de 8 núcleos, rendimiento por núcleo no inferior a Intel® Xeon® Gold 6230
64
150
1+
Rendimiento de la tarjeta gráfica GPU no inferior a Nvidia A10 GPU 16GB
Bases de datos
Postgres
16
64
1,000
2
Rabbitmq
8
16
300
3
Clickhouse
8
16
1,000
2+
Redis
8
16
300
3
Cálculo de las necesidades de GPU
Funcionamiento de ASR TTS
Hasta 5 idiomas
Tipo
200 sesiones
300 sesiones
400 sesiones
ASR+TTS
Nvidia A10 16GB
2xNvidia A10 16GB
2xNvidia A10 16GB
ASR sólo
Nvidia A10 16GB
Nvidia A10 16GB
2xNvidia A10 16GB
TTS sólo
Nvidia A10 16GB
Nvidia A10 16GB
2xNvidia A10 16GB
Recomendaciones sobre supervisión y registro
En la Plataforma se desplegarán las siguientes versiones de herramientas de supervisión y registro:
Pila elástica 8.5.1
Kube Prometheus Stack 61.3.1
Si el cliente ya utiliza estas herramientas, pueden utilizarse para supervisar y registrar la Plataforma.
Resultados de la preparación medioambiental
Recursos asignados y software configurado según la opción seleccionada para la tolerancia a fallos.
El equipo de Graphlogic dispone de
Acceso a Kubernetes y Kubeconfig
Direcciones IP y cuentas de administrador en software específico de G si se elige la opción de entrega tolerante a fallos, cuando la aplicación se encuentra fuera del clúster de Kubernetes.
Disponibilidad del entorno organizada para el equipo de Graphlogic
Datos de conexión emitidos para conectarse a los sistemas de supervisión y registro del cliente si se prevé su uso
Nombre de dominio creado para acceder a la plataforma de interfaz de usuario; opcionalmente, se puede crear un nombre de dominio para el servicio de almacenamiento de objetos S3.
Dado que la plataforma opera con entornos externos a través del protocolo https, es necesario emitir certificados SSL para los nombres de dominio mencionados anteriormente
Entorno de prueba
Se supone que el entorno de pruebas se desplegará en el mismo entorno preparado para el entorno de producción. Como parte de la preparación del entorno, sólo se requerirán nombres DNS y certificados para el protocolo https de acceso a la interfaz de usuario (y s3 opcionalmente)
Last updated