AI para análise de speaking
comentada em 31/07/2023 17:43

A solução do primeiro link também pode ser uma alternativa interessante. Clonar sua própria voz, dar um texto na nova linguagem para ela ler, e tentar aproximar sua fala à dela

A ideia é excelente! Se não dá ainda, é só  uma questão de tempo...

@Giovanni

De vez em quando aparece nas redes sONcias a propaganda de um app chamdo ELSA. Esse app faz basicamente o que vc quer. Pessoa fala e ele checa o quão boa é a pronuncia.

postado por @Huoya em 31/07/2023 09:35:55

Giovanni

De vez em quando aparece nas redes sONcias a propaganda de um app chamdo ELSA. Esse app faz basicamente o que vc quer. Pessoa fala e ele checa o quão boa é a pronuncia.

Também ouvi falar, estou pra testar se realmente funciona mas pra isso é necessário pagar.

Enquanto isso, estou treinando 'my speaking' com o Google Translator. Basta clicar no microfone do lado em inglês e ditar um texto em inglês. Em seguida, é só verificar se o GT entendeu. Se ele entendeu, provavelmente um americano também entenderá. Se ele não entendeu, coloco-o para ler o texto e ver como deveria pronunciar a palavra."

postado por @Huoya em 31/07/2023 09:35:55

Giovanni

De vez em quando aparece nas redes sONcias a propaganda de um app chamdo ELSA. Esse app faz basicamente o que vc quer. Pessoa fala e ele checa o quão boa é a pronuncia.

parece ser exatamente isso mesmo, mas é pago e closed source então complica porque não dá para gente editar

o google mesmo já tá ciente que AI opensource vai superar o esforço das empresas

Google "We Have No Moat, And Neither Does OpenAI"

quando eu estava estudando francês, usava o google tradutor e ao invés de digitar, colocar em áudio. Ele vai reconhecendo o que vc fala e transcrevendo para texto. Pode ser um começo tentar por aí. Agora se o objetivo é fazer um programa ou script para isso, creio que por enquanto ainda seja um pouco complicado, pq vc terá que ter o input da sua voz (o que não é difícil) e depois ter uma forma de comparar ou um padrão de validação (o que eu acho que é difícil). Se fosse só comparar texto da sua transcrição com um texto padrão, seria fácil, mas teria que avaliar questões como accent, stress e nuances da fala, parece-me um projeto um pouco maior.

postado por @urbietorbi em 31/07/2023 10:01:21

quando eu estava estudando francês, usava o google tradutor e ao invés de digitar, colocar em áudio. Ele vai reconhecendo o que vc fala e transcrevendo para texto. Pode ser um começo tentar por aí. Agora se o objetivo é fazer um programa ou script para isso, creio que por enquanto ainda seja um pouco complicado, pq vc terá que ter o input da sua voz (o que não é difícil) e depois ter uma forma de comparar ou um padrão de validação (o que eu acho que é difícil). Se fosse só comparar texto da sua transcrição com um texto padrão, seria fácil, mas teria que avaliar questões como accent, stress e nuances da fala, parece-me um projeto um pouco maior.

É por aí mesmo
Num primeiro momento, a ideia seria gerar algum tipo de análise da fala para poder comparar dps

São algumas etapas intermediárias até uma AI poder "julgar" o que é bom ou ruim entre essas variações

Eu venho pensando nisso também, e não vai demorar. Sua ideia é algo que ou já existe ou alguém já está fazendo, mas a partir do momento em que você puder conversar com a IA e pedir para ela entrar no modo professor de idioma X, que vai analisando sua pronúncia, vocabulário e etc, aprender um idioma será incrivelmente mais rápido e eficiente. Você pode passar o dia conversando em inglês sobre qualquer assunto com a IA e treinando seu speaking e listening, e aí cara, vai turbinar o aprendizado. Tem gente que confunde isso com falar por voz com IA, o que não tem nada a ver já que alguma ferramenta converte sua fala em texto e manda a info pronta para uma IA como o chatGPT.
Quando surgir isso aí, e não deve demorar, vou escolher um novo idioma para aprender.

Tem que avaliar no estilo do Jacquin:

postado por @Huoya em 31/07/2023 09:35:55

Giovanni

De vez em quando aparece nas redes sONcias a propaganda de um app chamdo ELSA. Esse app faz basicamente o que vc quer. Pessoa fala e ele checa o quão boa é a pronuncia.

O legal é que ele analisa Pronúncia, Fluência e Entonação.

@Giovanni, gostei da sua ideia. Pena que estou atolado de trabalho para tentar assumir mais qquer coisa. Uma coisa importante é, para ser moderno, ter a base de conhecimento auto-alimentável com os dados dos usuários. Também poderia liberar um modo avaliação onde as pessoas avaliavam a entonação dos outros (a troco de algum mimo, um ponto, XP, ranking, qquer coisa), e assim retroalimenta a base da AI. Em adição a isso, poderia ter alimentação de fontes nativas (deve ter bases de texto assONciada a pronuncias "boas"). 
Seria possível começar testes com idioma nativo mesmo (algo como treinamento de dicção e oratória), e depois seguir para ingles.