Quais são as etapas do processo e/ou ciclo de vida de MLOps? A resposta depende de para quem foi feita a pergunta. As startups definem de uma maneira, o Google e a Microsoft de outra e assim por diante. Resumidamente, cada líder do setor as descreve à sua maneira:
- Datarobot refere-se ao processo como Inteligência Aumentada e inclui preparar, criar, implantar, prever, monitorar, otimizar e inteligência artificial contínua.
- Algorithmia as descreve como desenvolvimento, implementação e operações de ML.
- H2O explica as etapas como preparar, modelar, explicar, operar, desenvolver e consumir.
- Seldon ilustra o ciclo de vida como 1) Treinamento: preparação de dados, experimentos parametrizados, seleção, modelo treinado; 2) Implementação: implantações gerenciadas, previsões com feedback, gráficos de inferência, registro de solicitações, e 3) Monitoramento: precisão, desvio de dados (data drift), outliers e explicações.
- Microsoft as define visualmente como 1) construir modelos com pipelines de ML reutilizáveis; 2) automatizar a implantação de MLOps; 3) criar automaticamente uma trilha de auditoria; 4) implantar e monitorar o desempenho, e 5) observar desvio de dados.
- Google define MLOps como um sistema de ML que tem treze partes (por enquanto) e cada parte realiza uma determinada atividade. As partes são configuração, automação, coleta de dados, verificação de dados, feature engineering, teste e depuração, códificação de ML, gerenciamento de recursos, análise de modelo, gerenciamento de processos, gerenciamento de metadados, infraestrutura de serviço e monitoramento.
- Durante uma apresentação , Corey Zumar, engenheiro de software da Databricks, dividiu o ciclo de vida do ML em quatro etapas: 1) preparação de dados 2) treinamento 3) implementação e 4) dados brutos.
O certo é que a melhor solução de MLOps depende do caso de uso e seus requerimentos específicos. E, conforme mostrado acima, os elementos comuns são preparação de dados, criação, treinamento, implementação e monitoramento.
Depois de analisar diferentes pontos de vista, criamos nossa definição: MLOps é o processo de ponta a ponta de criação e implantação de modelos de Machine Learning (ML). É simples e contém apenas duas partes: criar e implantar.
Obviamente, cada parte possui uma série de etapas necessárias para concluir uma determinada tarefa. Uma das partes mais críticas de qualquer projeto de ML é criar um pipeline que é responsável por conduzir tarefas de uma etapa para outra. Esta atividade é conhecida como DAG , gráfico acíclico direcionado (directed acylic graph).
Para simplificar ainda mais, podemos agrupar a preparação de dados e o treinamento como parte da criação do modelo, e a parte de monitoramento dentro da implementação para que tenhamos só duas partes principais para MLOps.
Quais são todas as etapas na fase de criação? Algumas tarefas incluem preparação de dados, feature engineering, limpeza de dados, seleção de algoritmos, seleção da estrutura de ML, construção de modelos e treinamento de hiperparâmetros (experimentação). Novamente, é provável que essa lista de atividades mude de provedor para provedor.
A fase de criação parece apresentar uma série de desafios para cientistas de dados e engenheiros de ML. De acordo com um relatório de Algorithmia, “55% das empresas [inquiridas] não implementaram um modelo de ML”. No entanto, depois que esses problemas forem resolvidos, mais problemas são esperados durante a fase de implantação. Os desafios são orientados tanto para o processo quanto para o produto. Quando se trata de produtos, os engenheiros devem selecionar a combinação mais adequada de ferramentas de código aberto que funcionem melhor para suas necessidades.
Felizmente, houve uma profunda inovação no desenvolvimento de ferramentas de ML, muitas das quais são nativas do Kubernetes. É bom trabalhar com as ferramentas nativas do Kubernetes porque o Kubernetes é a plataforma de orquestração que ganho um espacccc1o dentro da comunidade global. Por outro lado, o Kubernetes é uma ferramenta complexa e os engenheiros de ML precisam entender o funcionamento interno de uma plataforma que possui centenas de recursos e plug-ins.
Resumindo, quais são as etapas do MLOps? Depende.