ARCHITECTE INFRA CLOUD ET GPU & INFERENCE IA H/F

Rattaché(e) au département Infrastructures et des Services du Socle (ISS) et placé(e) sous la responsabilité du chef de bureau Ingénierie, Réseau, Infrastructure et Systèmes (IRIS), vous intervenez en tant qu'architecte infra cloud et GPU & inférence IA. Votre rôle sera d’apporter votre expertise dans l’utilisation de GPU et de service d’inférence d’inférence VLLM dans un contexte principalement Cloud (VM ou K8S Managé) et d’intégration de service LLMaaS. Vous devrez avoir une compréhension approfondie de l'architecture Cloud et GPU et être en capacité d’évaluer les performances de la pile matérielle et logicielle.

Rattaché(e) au département Infrastructures et des Services du Socle (ISS) et placé(e) sous la responsabilité du chef de bureau Ingénierie, Réseau, Infrastructure et Systèmes (IRIS), vous intervenez en tant qu'architecte infra cloud et GPU & inférence IA. Votre rôle sera d’apporter votre expertise dans l’utilisation de GPU et de service d’inférence d’inférence VLLM dans un contexte principalement Cloud (VM ou K8S Managé) et d’intégration de service LLMaaS. Vous devrez avoir une compréhension approfondie de l'architecture Cloud et GPU et être en capacité d’évaluer les performances de la pile matérielle et logicielle.Au sein de la Direction du Numérique (DNUM), le Département « Infrastructures et Services du Socle (ISS) » déployé sur 3 sites (Paris, Rivery et Nantes) est reparti sur 5 bureaux. Il assure la conception, la réalisation et le maintien en condition opérationnelle et de sécurité du socle technologique des services d’infrastructures de production, l’exploitation des applications nationales ainsi que le support aux utilisateurs au niveau national.Le département ISS est :• responsable du périmètre des offres de solutions "cloud computing" interministérielles et privées À ce titre, vos principales missions (liste non-exhaustive) seront de :• Concevoir et déployer une infrastructure GPU scalable et performante pour l’inférence des LLMs, capable de supporter jusqu’à plusieurs dizaines de milliers d’utilisateurs en diret ou via des services API• Mettre en place un dispositif permettant gérer un parc Modèle LLM instanciés et optimiser leur déploiement.• Concevoir et articuler les gateway et API d’inférence et de RAG (BDD Vectorielle Elastic) à destination des Applicatif tiers.• Mettre en place des mécanismes robustes de gestion des guardrails, quotas, rate limiting, gestion de file d’attente et sécurité avancée IAM• Implémenter des solutions de monitoring et observabilité avancées (Prometheus, Grafana).• Etablir les choix de système d’exploitation et des middlewares de associés à ce contexte.• Effectuer une veille technologique sur les meilleures pratiques de déploiement à grande échelle de modèles LLM• Assurer un support interne de niveau 3 sur ces produits.• Superviser le choix des frameworks, outils et technologies en collaboration avec les data scientists, ML engineers et devOps• Garantir la scalabilité, la maintenabilité et la sécurité de l’infrastructure• Évaluer l’impact technique et fonctionnel des choix architecturaux• Mettre en place et développer des outils d'analyse et d'amélioration des performances• Maitriser les couts d’usage et identifier et proposer des optimisations.• Assurer l’optimisation continue (load balancing, auto-scaling) et la haute disponibilité des systèmes.• Effectuer une veille technologique sur les meilleures pratiques de déploiement à grande échelle de modèles LLM (Triton, vLLM, Ray Serve)• définit, met en œuvre le maintien en condition opérationnelle et de sécurité et la mise à disposition des outils de la chaine CI/CD, de la solution Open shift et des services s'appuyant sur le socle• offre un point de contact unique de support informatique pour le ministère, le grand public et les professions du droit• met en valeur les données du ministère en les publiant sur l'open Data de l'état et en proposant des outils d'aide à la décision à travers de nouvelles approches de data science et d'intelligence artificielle• acteur central de la transformation numérique de la justice, ISS, produit, exploite et intègre les outils numériques répondant à l'objectif d'une justice plus lisible, plus accessible• est en charge de l’hébergement des centres informatiques du ministère de Nantes et d'Osny• déploie des ressources informatiques nécessaires au fonctionnement des projets métiersActeur central de la transformation numérique de la justice, ISS vise à produire, exploiter, intégrer des solutions et outils numériques sécurisés et agiles répondant à l’objectif d’une justice plus lisible, plus accessible et plus efficace.Le département est composé des cinq bureaux suivants :• Pilotage, Plan et Marché (PPM)• Déploiement, Exploitation & Hébergement (DExH)• Ingénieries, Réseaux, Infrastructures et Systèmes (IRIS)• Services Transverses & Identité (STI)• Outils et services Agiles (OSA)