book_icon

CodeFlare reduz o tempo para configurar, executar e escalar testes de Aprendizado de Máquina

Quando aplicado a estrutura para analisar e otimizar aproximadamente 100.000 pipelines para treinar modelos de aprendizado de máquina, o CodeFlare reduziu o tempo de execução de cada pipeline de 4 horas para 15 minutos

CodeFlare reduz o tempo para configurar, executar e escalar testes de Aprendizado de Máquina

Junto com a proliferação de análises de Aprendizado de Máquina e tecnologias de Dados em quase todos os setores, há uma complexidade crescente de tarefas. Ter conjuntos de dados maiores e uma quantidade maior de sistemas para pesquisas baseadas em Inteligência Artificial é ótimo, mas enquanto esses fluxos de trabalho se tornam cada vez mais elaborados, mais tempo eles requerem dos pesquisadores para sua configuração e, com isso, menos tempo para conduzirem Ciência de Dados.

A IBM anunciou o CodeFlare, uma estrutura de Código Aberto destinada a simplificar a integração e o dimensionamento eficiente de Big Data e fluxos de trabalho de IA na Nuvem híbrida. O CodeFlare é construído em Ray, uma estrutura emergente de computação distribuída de código aberto para aplicativos de aprendizado de máquina. O CodeFlare estende os recursos do Ray e adiciona elementos específicos para facilitar o dimensionamento do fluxo de trabalho.

Os pipelines CodeFlare são executados facilmente na nova plataforma serverless da IBM, IBM Cloud Code Engine e Red Hat OpenShift

Atualmente, para criar um modelo de aprendizado de máquina, pesquisadores e desenvolvedores devem primeiro treinar e otimizar este modelo. Essas tarefas podem envolver limpeza de dados, extração de recursos e otimização de modelo. O CodeFlare simplifica esse processo usando uma interface baseada em Python, para o que é chamado de pipeline, que simplifica as etapas de integração, paralelização e compartilhamento de dados. O objetivo da nova estrutura é unificar fluxos de pipeline em várias plataformas sem que os cientistas de dados tenham que aprender uma nova linguagem de fluxo de trabalho.

Os pipelines CodeFlare são executados facilmente na nova plataforma serverless da IBM, IBM Cloud Code Engine e Red Hat OpenShift. Os usuários podem implementá-lo em quase qualquer lugar, estendendo os benefícios da plataforma serverless para cientistas de dados e pesquisadores de IA. Também é mais fácil integrar e fazer a ponte com outros ecossistemas nativos na Nuvem, fornecendo adaptadores para acionadores de eventos (como a chegada de um novo arquivo), carregando e particionando dados de uma ampla gama de fontes, como armazenamentos de objetos em Nuvem, data lakes e sistemas de arquivos distribuídos.

Com o CodeFlare, espera-se que os desenvolvedores não tenham que duplicar seus esforços ou enfrentar a dificuldade de determinar o que os colegas fizeram no passado para colocar um determinado pipeline em execução. Com o CodeFlare, a IBM visa a fornecer aos cientistas de dados ferramentas e APIs mais avançadas que possam ser utilizadas de forma mais integrada, permitindo que se concentrem mais em suas pesquisas em andamento e se desliguem da complexidade de configuração e implementação.

E já estamos vendo isso. Por exemplo, quando um usuário aplicou a estrutura para analisar e otimizar aproximadamente 100 mil pipelines para treinar modelos de aprendizado de máquina, o CodeFlare reduziu o tempo de execução de cada pipeline de 4 horas para 15 minutos. Com outros usuários, esta estrutura de Código Aberto diminui meses de desenvolvimento e permite que os desenvolvedores lidem com problemas de dados cada vez maiores.

A IBM oferece o open-sourcing CodeFlare junto com uma série de postagens de blog sobre como ele funciona e sobre o que você precisa saber para começar. E este é apenas o começo da jornada que a IBM planeja fazer com o CodeFlare. Começou a aplicar essa tecnologia em temas que estão construindo na IBM, em sua própria pesquisa de inteligência artificial. Continuarão a trabalhar na evolução do CodeFlare para suportar pipelines cada vez mais complexos. Estão planejando fornecer níveis aprimorados de tolerância a falhas e consistência, bem como melhorar a integração e gerenciamento de dados para fontes externas e adicionar suporte para visualização de pipelines.

 

CodeFlare

IBM

Nuvem híbrida

open-sourcing CodeFlare

Python

Ray

testes de aprendizado de máquina

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *


As opiniões dos artigos/colunistas aqui publicados refletem exclusivamente a posição de seu autor, não caracterizando endosso, recomendação ou favorecimento por parte da Infor Channel ou qualquer outros envolvidos na publicação. Todos os direitos reservados. É proibida qualquer forma de reutilização, distribuição, reprodução ou publicação parcial ou total deste conteúdo sem prévia autorização da Infor Channel.
Revista Digital
Edição do mês

Leia nesta edição:

Leia nessa edição sobre tecnologia

CAPA | TENDÊNCIAS

Tecnologias imersivas ganham impulso nos negócios

Leia nessa edição sobre carreira

INDÚSTRIA 4.0

Fábrica conectada

Leia nessa edição sobre setorial | saúde

SERVIÇOS

Trunfos dos menores

Esta é para você leitor da Revista Digital:

Leia nessa edição sobre sustentabilidade

TENDÊNCIAS

A casa também foi para a Nuvem

Julho| 2021 | #48 - Acesse:

Infor Channel Digital

Baixe o nosso aplicativo

Google Play
Apple Store

Agenda & Eventos

Cadastre seu Evento