Comment une équipe de quatre chez Summit Cloud fait tourner des charges IA à grande échelle
Une startup IA fait tourner des API d'inférence et des tâches en arrière-plan pour des millions de requêtes par jour, sans équipe ops dédiée.
Résultats
Une petite équipe, une grosse charge
- Tâches par jour
- M
- Vectorisation, synthèse et indexation de documents.
- Ingénieurs
- Pour toute la plateforme, astreinte comprise.
- De temps ops en moins
- %
- Par rapport à leur première infrastructure autogérée.
Le défi
Summit Cloud transforme de grands ensembles de documents en bases de connaissances interrogeables. Sa première version tournait sur des clusters autogérés, et les ingénieurs fondateurs passaient plus de temps sur les files d’attente, les scripts de mise à l’échelle et les certificats que sur le produit.
Avec la croissance des clients, la charge est devenue irrégulière : un seul import pouvait ajouter des centaines de milliers de tâches en arrière-plan en quelques minutes.
La solution
L’équipe a séparé le produit en un service web pour l’API et des workers pour les tâches en arrière-plan, tous définis dans un seul fichier de configuration et déployés depuis le même dépôt. Les workers montent en charge selon la profondeur de la file, l’API selon la latence des requêtes.
La CLI et l’API leur permettent de scripter les nouveaux environnements clients, et le réseau privé rend la base vectorielle accessible uniquement depuis leurs propres services.
Les résultats
Quatre ingénieurs font désormais tourner toute la plateforme, astreinte comprise. Les gros imports se terminent en quelques minutes au lieu de plusieurs heures, et le temps autrefois consacré à l’infrastructure va au produit.
“Faire tourner nos workers IA ici a permis à une équipe de quatre personnes d'absorber une charge pour laquelle nous pensions en avoir besoin de quinze.”
Étude suivante
