O NeuralNote é uma ferramenta de conversão de áudio para MIDI que utiliza inteligência artificial e aprendizado profundo para identificar notas musicais em gravações. Desenvolvido por DamRsn (Dr. Audio), o software permite transformar melodias, acordes e partes instrumentais em informações MIDI editáveis, oferecendo uma solução para produtores musicais, compositores e músicos que desejam recriar ou modificar elementos de uma gravação.
A segunda geração do NeuralNote apresenta uma reformulação significativa em seu mecanismo de reconhecimento musical. O algoritmo Spotify Basic Pitch, utilizado anteriormente, foi substituído pelo MuScriptor, um modelo de inteligência artificial desenvolvido pela Kyutai e Mirelo. Essa tecnologia permite analisar gravações com múltiplos instrumentos simultaneamente, identificando as notas e organizando os resultados por instrumento, mesmo quando diferentes elementos estão presentes na mesma mixagem.
O reconhecimento abrange 35 grupos de instrumentos, incluindo pianos, guitarras, baixos, baterias, sintetizadores, cordas, metais, sopros e vozes. É possível selecionar manualmente os instrumentos presentes na gravação ou utilizar o modo Automatic, que permite ao sistema identificar as fontes sonoras. A seleção adequada dos instrumentos pode contribuir para resultados mais precisos durante a transcrição.
O software oferece três modelos de reconhecimento MuScriptor: Small, Medium e Large. A versão Small prioriza a velocidade e o menor consumo de recursos, enquanto a Medium oferece um equilíbrio entre desempenho e qualidade. Já a Large utiliza uma rede neural maior, desenvolvida para proporcionar transcrições mais detalhadas, embora exija maior capacidade de processamento. Todos os três modelos estão incluídos neste pacote.
Durante a análise, as notas identificadas aparecem progressivamente em um piano roll, permitindo acompanhar os resultados antes mesmo da conclusão do processamento. O sintetizador integrado possibilita reproduzir as partes reconhecidas, com controles individuais de volume, Mute e Solo para cada instrumento. Também é possível ajustar a mistura entre o áudio original e a reprodução MIDI sintetizada.
Após a transcrição, os resultados podem ser exportados como arquivos MIDI ou arrastados diretamente para uma DAW. O sistema organiza as informações em trilhas individuais, facilitando a edição de melodias, harmonias e ritmos. Todo o processamento ocorre localmente no computador, utilizando CPU ou aceleração por GPU compatível com Vulkan.
A versão 2.2.0 apresenta melhorias de desempenho na transcrição por CPU, suporte a processadores antigos sem AVX e correções relacionadas à utilização de determinadas placas de vídeo. O reconhecimento continua sujeito a imprecisões, e parâmetros como velocity, andamento e tonalidade não são detectados automaticamente, podendo exigir ajustes posteriores na DAW.
Principais características
- Conversão de arquivos de áudio em MIDI utilizando inteligência artificial
- Reconhecimento de múltiplos instrumentos presentes na mesma gravação
- Modelo MuScriptor desenvolvido pela Kyutai e Mirelo
- Identificação de notas em 35 grupos de instrumentos musicais
- Suporte a pianos, guitarras, baixos, sintetizadores, baterias, cordas, sopros e vozes
- Modo Automatic para identificação automática dos instrumentos
- Três modelos de reconhecimento: Small, Medium e Large
- Todos os três modelos MuScriptor incluídos no pacote
- Modelos em formato GGUF com diferentes exigências de processamento
- Visualização progressiva das notas reconhecidas em piano roll
- Sintetizador integrado para reprodução das partes transcritas
- Controles individuais de volume, Mute e Solo por instrumento
- Controle de mistura entre áudio original e reprodução sintetizada
- Exportação MIDI com separação das partes instrumentais
- Função de arrastar e soltar arquivos MIDI diretamente para a DAW
- Importação de arquivos WAV, AIFF, FLAC, MP3 e OGG
- Processamento local sem necessidade de enviar gravações para servidores
- Suporte a processamento por CPU e aceleração por GPU com Vulkan
- Compatibilidade com processadores antigos sem instruções AVX
- Melhorias de desempenho na transcrição por CPU na versão 2.2.0
- Interface gráfica moderna e redimensionável
- Funcionamento independente ou como plugin VST3
