Inteligência artificial na visão do Garry Kasparov (jogador de xadrez)
comentada em 08/12/2018 08:48

Desculpe a ignorância, mas combinações binárias podem ser mais complexas do que o xadrez?

depende de quantos bits, sim.

O tabuleiro do GO é bem maior (19x19), muito mais combinações possíveis. E o AlphaGO foi desenvolvido por uma subsidiária da Google, não da IBM.

O branching factor do Go é maior, porque a cada jogada o jogador da vez pode colocar a peça nova em basicamente qualquer posição desocupada. E o tabuleiro é 19x19.

Xadrez tem aproximadamente 35ˆ80 sequências possíveis de movimentos. Go tem 250ˆ150. Por ai dá pra ter uma ideia da magnitude da diferença e da façanha do AlphaGo.

Mastering the game of Go with deep neural networks and tree search
 

The game of Go has long been viewed as the most challenging of classic games for artificial intelligence owing to its enormous search space and the difficulty of evaluating board positions and moves. Here we introduce a new approach to computer Go that uses ‘value networks’ to evaluate board positions and ‘policy networks’ to select moves. These deep neural networks are trained by a novel combination of supervised learning from human expert games, and reinforcement learning from games of self-play. Without any lookahead search, the neural networks play Go at the level of state-of-the-art Monte Carlo tree search programs that simulate thousands of random games of self-play. We also introduce a new search algorithm that combines Monte Carlo simulation with value and policy networks. Using this search algorithm, our program AlphaGo achieved a 99.8% winning rate against other Go programs, and defeated the human European Go champion by 5 games to 0. This is the first time that a computer program has defeated a human professional player in the full-sized game of Go, a feat previously thought to be at least a decade away.

 

https://www.nature.com/articles/nature16961

 

Mastering the game of Go without human knowledge

A long-standing goal of artificial intelligence is an algorithm that learns, tabula rasa, superhuman proficiency in challenging domains. Recently, AlphaGo became the first program to defeat a world champion in the game of Go. The tree search in AlphaGo evaluated positions and selected moves using deep neural networks. These neural networks were trained by supervised learning from human expert moves, and by reinforcement learning from self-play. Here we introduce an algorithm based solely on reinforcement learning, without human data, guidance or domain knowledge beyond game rules. AlphaGo becomes its own teacher: a neural network is trained to predict AlphaGo’s own move selections and also the winner of AlphaGo’s games. This neural network improves the strength of the tree search, resulting in higher quality move selection and stronger self-play in the next iteration. Starting tabula rasa, our new program AlphaGo Zero achieved superhuman performance, winning 100–0 against the previously published, champion-defeating AlphaGo.

https://www.nature.com/articles/nature24270

Um artigo de divulgação:
Self-taught AI is best yet at strategy game Go

Artificial-intelligence program AlphaGo Zero trained in just days, without any human input.

Self-taught AI is best yet at strategy game Go : Nature News & Comment

Recentemente AlphaZero também desenvolvida pela DeepMind derrotou em um match o Stockfish 8 (o software de xadrez mais potente do momento, na verdade já está disponível a versão 10, mas o match foi contra o SF 8).
AlphaZero conseguiu atingir um nível de jogo similar a um mestre de xadrez em apenas 4 horas, e melhora jogando milhares de partidas contra se mesma. Genial.

Eu parei de acompanhar quando saiu o artigo do AlphaZero (Mastering the game of Go without human knowledge) pq comecei a entrar em paranóia.

Assisti o doc e o campeao de GO ainda conseguiu vencer uma partida contra o computador ! coisa que em breve não será mais possível. 

Ja no xadrez, atualmente o software que vence o campeão mundial já cabe em um simples CD rodando em um notebook ou até mesmo em um smartphone. 

E sobre o Alpha Zero, ele é revolucionário por ser 100% autodidata, vejam este artigo: 

The future is here – AlphaZero learns chess | ChessBase

ou pra quem preferir a versão em espanhol: 

El futuro ya ha comenzado: autodidacta AlphaZero aprende a jugar al ajedrez | ChessBase

Hehehehe só tem fera aqui na Bastter! Na verdade eu tô meio por fora da área, so achei o artigo, li e me pareceu interessante. Mas aparentemente teve algum avanço importante na IA que foi publicado nessa semana pelo pessoal da AlphaZero na Science... Se entendi corretamente, conseguiram um mesmo algoritmo que ajusta a IA simultaneamente para vencer em 3 jogos distintos: xadrez, shogi (?!) e Go.

O que eu achei interessante no comentário dele é que antigamente o pessoal tentava desenvolver um algoritmo que explorasse todas as possibilidades e então visse qual era a melhor próxima jogada... era uma coisa mais "robótica" e burra, e que frequentemente levava ao empate das partidas. Nos sistemas de IA mais recentes ele consegue perceber um "estilo" agressivo e arriscado nas jogadas... Depois vou dar uma olhada nesse documentário no netflix

@AndersonMonteiro67

 




A general reinforcement learning algorithm that masters chess, shogi and Go through self-play

 




The game of chess is the longest-studied domain in the history of artificial intelligence. The strongest programs are based on a combination of sophisticated search techniques, domain-specific adaptations, and handcrafted evaluation functions that have been refined by human experts over several decades. By contrast, the AlphaGo Zero program recently achieved superhuman performance in the game of Go by reinforcement learning from self- play. In this paper, we generalize this approach into a single AlphaZero algorithm that can achieve superhuman performance in many challenging games. Starting from random play and given no domain knowledge except the game rules, AlphaZero convincingly defeated a world champion program in the games of chess and shogi (Japanese chess) as well as Go.

 

A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play | Science

Alpha Zero está revolucionando o jogo, pra que gosta e entende um pouco de xadrez vale a pena ver esta análise do Daniel King, publicado ontem, de uma partida absolutamente fantástica vencida pelo AlphaZero contra o StockFish 8 (a engine mais forte do mundo até pouco tempo):

Xadrez é binariamente pouco complexo, no futuro vai ter um tabuleiro virtual cúbico X unidades de largura, altura e comprimento; aonde duas IA irão fazer uma verdadeira guerra. Centenas de peças e cada uma com habilidades especificas, podendo atacar, defender e habilidades alternativas, tudo em 3D. E pasmem, a "batalha" vai terminar em nano segundos, e tudo é apenas códigos (linguagem binária).

A principal diferença é que as engines de antes tinham uma dificuldade de relacionar as vantagens posicionais com as materiais. Ou seja eram muito materialistas. 

Isto ficava claro por exemplo em relação ao sacrifício de qualidade. Um humano sabe que dependendo da posição por exemplo totalmente fechada, uma torre valerá menos que um cavalo bem posicionado pois ela fica travada, enquanto o cavalo pode saltar. 

As máquinas eram muito apegadas ao valor material das peças. 

Neste jogo que postei isto fica evidente como o AlphaZero sacrifica inúmeros peões para criar uma posição vantajosa de longo prazo, com linhas abertas ampliando o raio de ação de seus bispos e torres visando pontos estratégicos importantes no território inimigo. 

@GL1, eu até que li o abstract... mas como não sou da área não sei exatamente qual é a parte mais surpreendente deste artigo para que ele seja publicado na Science... é a questão de o AlphaZero praticar consigo mesmo e incluir um processo de auto aprendizagem? Que na minha cabeça leiga já tinha gente fazendo isso faz algum tempo