O MLOps está se tornando uma luz no fim do túnel para o ciclo de vida do Machine Learning (ML) que é, para muitos, complexo demais. Assim como o DevOps transformou o mundo do desenvolvimento de software, o MLOps está fazendo o mesmo com o ML ou aprendizado de máquina.
Google e Microsoft definem MLOps da seguinte forma:
- Google: MLOps é um conjunto de processos padronizados e recursos tecnológicos para criar, implantar e operar sistemas de ML de forma rápida e confiável.
- Microsoft : MLOps, ou DevOps para Machine Learning, permite que as equipes de ciência de dados e TI colaborem e aumentem o ritmo de desenvolvimento e implantação de modelos por meio de monitoramento, validação e governança de modelos de machine learning.
Embora existam semelhanças entre DevOps e MLOps, pois ambos envolvem um conjunto de melhores práticas, processos, ferramentas e filosofia, o último é significativamente mais complicado.
Para iniciantes, há problemas específicos de ML que precisam ser resolvidos desde o início, como o desvio de dados (data drift). Isto ocorre quando há mudanças nos dados que alimentam os modelos, o que requer um novo treinamento do modelo. As equipes responsáveis devem desenvolver processos repetíveis e reproduzíveis que funcionem perfeitamente quando os dados mudam. A criação de tais processos pode ser feita usando vários produtos de software de código aberto, alinhada com a ideia do “faça você mesmo”. No entanto, existem também plataformas MLOps que podem acompanhar o procedimento do início ao fim.
Desenvolvimento e treinamento
O desenvolvimento e o treinamento de ML (experimentação) são a parte mais lenta do ciclo de vida. Os dados devem ser preparados e limpos, além de selecionar os recursos a serem usados (feature engineering). Depois disso, algoritmos devem ser selecionados, hiperparâmetros ajustados e centenas ou milhares de experimentos devem ser realizados. Terminada esta parte, os modelos podem ser implantados e monitorados.
Existem muitas etapas para concluir o processo de ponta a ponta. Dezenas de startups entraram no jogo, criando ferramentas de código aberto que se adaptam a cada etapa do ciclo de vida. Além disso, existem plataformas de MLOps da AWS, Google e Azure que cuidam de todo o ciclo de vida, integrando e automatizando os diferentes produtos de código aberto necessários para executar cada tarefa.
O popular white paper “Hidden Technical Debt in Machine Learning Systems” (Dívida técnica oculta em sistemas de aprendizagem automatizado) do Google, que é regularmente citado por membros do setor de ML, explica o ciclo de vida do ML com base em suas experiências. O Google executa modelos sofisticados de ML há vários anos e o documento descreve as práticas recomendadas e as armadilhas a serem evitadas. Na verdade, o white paper teve um impacto tão profundo na indústria que novas empresas estão surgindo para preencher espaços vazios em áreas específicas descritas nesse trabalho de pesquisa.
Em outro white paper , intitulado “Practitioners Guide to MLOps”, ou Guia para practicantes de MLOps, o Google explica que o desenvolvimento da competência de ML dentro de uma organização envolve três áreas diferentes: engenharia de dados, engenharia de ML e engenharia de aplicativos.
- Engenharia de dados: preparação e curadoria de dados.
- Engenharia de ML: criação de sistemas habilitados para ML.
- Engenharia de aplicação: monitoramento de KPI.
Fonte : “Practitioners Guide to MLOps” do Google.
Iremos nos aprofundar em MLOps no próximo post.