Pipeline et compartimentation automatisés
Tout pipeline de ML d'entreprise doit avant tout automatiser les différentes étapes du cycle de vie du ML. Cette automatisation est généralement réalisée en compartimentant chaque étape comme un service autonome plutôt que de construire un Jupyter notebook ou un script monolithique avec toutes les étapes mises en œuvre dans un seul module de programmation.
Par exemple, dans une application de vision par ordinateur d'entreprise, l'ingestion des données peut être gérée par un service indépendant supervisé par une équipe distincte d'annotateurs de données et d'experts ETL. Ce service peut ensuite communiquer avec le service de nettoyage, de traitement et de validation des données par l'intermédiaire d'une API gérée par une équipe de données distincte. L'équipe hautement qualifiée d'experts en vision par ordinateur peut utiliser le pipeline de données traitées pour construire, former et évaluer des modèles de CV. Enfin, des experts spécialisés en CVOps, dotés de compétences en CI/CD, peuvent construire un service pour fournir le modèle en production et le surveiller 24 heures sur 24. Le pipeline est donc un ensemble de services de ce type qui fonctionnent indépendamment mais de manière coordonnée pour garantir le bon fonctionnement d'un modèle d'IA. Ce processus est analogue au travail avec des conteneurs dans le développement de logiciels. Faire de même avec l'apprentissage automatique permettrait à une organisation d'économiser une quantité incroyable de temps et d'argent tout en minimisant les incohérences et en évitant les doublons.
Maintenant, la vraie question est de savoir si une organisation doit construire un pipeline aussi complexe en partant de zéro, opter pour des outils MLOps gérés par des fournisseurs ou exploiter des frameworks open-source. Chaque option doit être évaluée en fonction des caractéristiques mentionnées ci-dessus afin d'éviter les pièges courants des MLOps et de prendre une décision commerciale éclairée.
- La flexibilité: Construire ou acheter - la plateforme doit être suffisamment flexible pour s'adapter à différentes situations et cas limites. Chaque cas peut nécessiter des techniques de modélisation ou des bibliothèques différentes, ainsi que des exigences variables en matière de données. Une plateforme sur mesure offre la possibilité d'ajouter des fonctionnalités et des modules supplémentaires aux outils CVOps en interne. En revanche, une plateforme CVOps gérée est plus rigide à tout changement et ne peut être ajoutée que par le fournisseur.
- L'interopérabilité: Le marché des outils MLOps est encore en pleine évolution. Un outil open-source qui automatise l'ingestion et le nettoyage des données peut ne pas prendre en charge la formation ou le déploiement. Cependant, l'outil open-source doit pouvoir fonctionner sans problème avec les modules de formation et de déploiement personnalisés. D'autre part, un outil MLOps géré n'est généralement pas interopérable.
- Compatibilité: Un outil CVOps efficace doit s'intégrer à l'ensemble des outils métier existants de l'organisation. Un pipeline sur mesure peut garantir la compatibilité de l'ensemble, mais il coûte cher. De plus, l'entreprise peut ne pas disposer des talents requis. Elle doit alors mettre en place un cycle de recrutement coûteux pour intégrer des ressources de haute qualité capables de mettre en œuvre le pipeline. D'autre part, un outil CVOps géré peut ne pas proposer par défaut de connecteurs pertinents pour la pile existante d'une entreprise.
- Convivialité: L'expérience utilisateur et la conception de l'outil doivent être transparentes afin de permettre une facilité d'utilisation pour les différents membres de l'équipe. Dans un pipeline CVOps personnalisé, l'équipe a un contrôle total sur les éléments UX. Elle peut l'adapter en fonction des directives et des préférences internes de l'entreprise. Cependant, les outils gérés sont conçus par les fournisseurs pour offrir une interface utilisateur et une expérience UX génériques, qui peuvent ne pas être adaptées aux besoins spécifiques de l'entreprise.
- Soutien de la communauté ou des vendeurs: L'un des avantages des outils à code source ouvert est leur vaste soutien communautaire. Cependant, le support communautaire n'est pas toujours utile lorsqu'il s'agit de mettre en œuvre des cas d'utilisation complexes. Une plateforme MLOps gérée par un fournisseur et offrant des conseils d'experts peut être plus appropriée dans ce cas. Mais, en fonction de la qualité de leur support client, cela peut prendre un certain temps pour les joindre.
Un mot sur les outils CVOps open-source - quelques problèmes courants
Un pipeline CVOps open-source est comme un puzzle. Si une entreprise parvient à assembler les bonnes pièces, elle peut obtenir un développement, un déploiement et une surveillance sans faille de ses applications. Pour de nombreuses entreprises, en particulier les petites et moyennes entreprises, opter pour des outils open-source semble viable en raison des coûts négligeables. Cependant, pour les entreprises de taille moyenne, il peut s'avérer difficile de mettre en place un cadre de bout en bout capable de s'adapter aux besoins de l'entreprise sans causer de problèmes majeurs.
Indépendamment de la taille et des besoins de l'entreprise, les MLOps et CVOps open-source présentent les problèmes suivants :
- En général, les outils open-source MLOps, et en particulier pour les CVOps, n'offrent pas une solution de bout en bout. Certains outils peuvent offrir une automatisation du traitement des données, tandis que d'autres ne peuvent être utilisés que pour des déploiements automatisés.
- Il peut devenir extrêmement difficile de faire fonctionner ensemble plusieurs outils à code source ouvert. Par conséquent, la compatibilité et l'interopérabilité peuvent constituer de véritables défis. Les différents outils utilisent différents types et versions de bibliothèques de données et de modélisation qui peuvent être incompatibles entre elles. De plus, les outils open source utilisent parfois des paquets obsolètes qui, lorsqu'ils sont découverts, causent plus de tort que de bien.
- Sur le plan de la flexibilité, un outil open-source conçu pour traiter, par exemple, des données tabulaires ne peut pas être facilement modifié pour traiter des données d'image. Même un outil open source spécialisé dans les CV peut manquer de fonctionnalités comme l'analyse des vidéos et leur conversion en images. L'entreprise qui utilise de tels outils devra dépenser des ressources importantes pour mettre en œuvre les fonctionnalités qu'elle souhaite.
- Tous les scientifiques des données et les ingénieurs ML ne maîtrisent pas forcément le code d'implémentation des différents outils open-source.
Quel outil CVOps choisir ? - Personnalisé, open-source ou conçu par un fournisseur.
L'architecte ou les dirigeants du CV de l'entreprise doivent prendre une décision prudente en fonction des besoins de l'entreprise et des ressources dont ils disposent. Bien que les outils open-source soient rentables, ils présentent de nombreux problèmes que nous avons évoqués plus haut. En particulier à l'échelle de l'entreprise, les outils open-source ne sont pas une option viable.
Une entreprise disposant de ressources suffisantes et d'un mode de livraison flexible peut choisir de construire son outil CVOps personnalisé. Cependant, elle doit s'assurer que l'outil est flexible, compatible, interopérable, évolutif et convivial. Elles doivent documenter l'ensemble de leurs processus de mise en œuvre afin de faciliter l'utilisation par les différentes équipes. Souvent, les entreprises peuvent employer une équipe de soutien pour assurer la maintenance de l'outil.
Bien qu'un outil personnalisé soit une option, les plateformes CVOps gérées peuvent présenter des avantages plus favorables que les plateformes personnalisées et open-source. Les solutions gérées par les fournisseurs sont entièrement complètes, avec un pipeline intégré qui offre toutes les opérations de ML, de l'ingestion des données au déploiement du modèle et à la surveillance. En outre, les fournisseurs disposent d'un personnel spécialisé dans l'aspect opérationnel, ce qui réduit au minimum les problèmes de configuration, d'installation et de support de l'infrastructure.
Une organisation doit simplement communiquer ses besoins au fournisseur, et tout le reste sera pris en charge. En outre, en optant pour une solution gérée, ce n'est pas seulement la plate-forme qui est achetée. C'est plutôt un partenariat stratégique avec un fournisseur qui est important pour le succès de la filière CV.
Toutefois, avec les solutions gérées, l'inconvénient est que le code source est pratiquement inaccessible et qu'il peut être difficile de réaliser des extensions. Si l'entreprise souhaite ajouter une fonctionnalité supplémentaire, la voie habituelle est de demander au fournisseur. Cela peut prendre du temps, et si les exigences fondamentales du système de ML changent du tout au tout, cela signifie que l'organisation peut être bloquée et qu'il n'est pas toujours possible de changer de solution.
Pour éviter ces problèmes, il faut s'assurer que les fournisseurs proposent des solutions extensibles avec des composants faiblement couplés. Cela permet à l'organisation de fusionner la plateforme avec sa propre pile pour garantir des opérations d'apprentissage automatique transparentes.
Pourquoi Picsellia ? - Une pile CVOps entièrement automatisée
Picsellia offre une plateforme CVOps de pointe, entièrement gérée, qui comprend les opérations CV suivantes :
- Gestion des données
Centralisez les images et les vidéos non structurées pour permettre une meilleure collaboration et minimiser les incohérences.
- Suivi des expériences
Une boîte à outils complète de suivi des expériences pour faciliter le réglage des hyperparamètres et obtenir le meilleur modèle d'IA.
- Déploiement des modèles
Placez immédiatement les modèles dans un environnement de production sans serveur avec un temps de disponibilité de 24/7.
- Suivi du modèle
Surveillance du modèle en temps réel afin d'identifier les cas limites et la détection précoce de la dégradation du modèle.
- Pipelines automatisés
Automatisez et orchestrez l'ensemble du cycle de vie des projets de vision par ordinateur.
Grâce à la solution rentable de Picsellia, les petites, moyennes et grandes entreprises peuvent réduire considérablement les taux d'échec du pipeline ML et adapter leur application aux besoins de l'entreprise.
Vous êtes curieux de savoir ce que sont les MLO pour la vision par ordinateur ? Téléchargez notre livre blanc et apprenez-en davantage à leur sujet !
