Deep Learning

Intéressant l'article!

Sinon, j'ai compris pourquoi j'avais des soucis. Dans mes fichiers de tests, j'utilisais FASHION_MNIST au lieu du MNIST:
https://github.com/zalandoresearch/fashion-mnist

Forcément, c'est plus dur!
Je me déteste!

Je vais pouvoir réessayer

Ah ouais.... xD

Je suis en train d'essayer de comprendre pourquoi je n'arrive pas à utiliser mon GAN sur the MNIST.
Du coup, j'essaye de visualiser ce qu'il se passe en 2 dimensions.

Voila un GAN qui essaye de reproduire une distribution en forme de spirale:


ça fonctionne plutôt bien. Par contre, on voit sur la vidéo que j'ai un soucis à la fin.

En effet, bizarre que ça se stabilise pas.
Tes paramètres d’entraînement qui sont trop violents peut être?

En effet, J'en ai fait une autre avec un générateur avec un pas plus petit, ça marche mieux.



voila le code pour le discriminateur et le générateur:

J'ai quasiment quelque chose qui fonctionne pour un GAN:


Ca me donne des images de nombres, mais ça ne semble pas converger vers une distribution équitable vers chaque nombres.

Une vidéo un peu mieux:


J'ai diminué le nombre de paramètre a entrainer, ça fonctionne beaucoup mieux.

Désolé pour le SPAM . Voici une vidéo de meilleur qualité et un meilleur entrainement.



Bon je crois que j'ai finalement atteint mon objectif de faire fonctionner un GAN sur le MNIST. Ça ma pris plusieurs mois après la première implémentation pour que ça fonctionne pour de vrai.

Quelques idées de projets:
- Similaire à http://arthursonzogni.com/WebNeural/AutoEncoderInterpolation/, mais avec le GAN.
- Tester avec le FASHION MNIST.
- Voir plus grand avec des images en couleurs.

Wow, génial!

Le code est sur github aussi?
Hâte d'en voir plus en tout cas

Merci!

Le code est sur Gitlab. Je le posterais également sur Github un jour j'imagine.
https://gitlab.com/ArthurSonzogni/WebNeural/blob/master/src/test/mnist_tests.cpp

Voici le réseau:



Contrairement a ce que je vois sur internet, ça marche très bien avec très peu de paramètres.
C'est un réseau plutôt simple avec peu de paramètres.

Le prototype de Deconvolution/Convolution:
Deconvolution2D(input, filter_size, number_of_filters, stride);

Voici une WebApp associé à mon GAN en WebAssembly:

http://arthursonzogni.com/WebNeural/WCGAN_Interpolation/

On peut donc entrainer le réseau depuis son ordinateur et visualiser ce qu'il produit.

Ah c'est bien cool directement sur une page web comme ça
Beau boulot!

J'ai tenté la même chose avec CIFAR-10 (Chien)

Image:


Evidemment, ça marche pas!
Je me demande si il est possible d'arriver semblant de résultat en moins de 30 minutes sans GPU?

Dur a dire. Je crois que les premiers modèles de CNN ont été élaborés sur CPU, donc ça devait bien fonctionner pour la reconnaissance.
Mais les GAN ont l'air encore plus lourd...
Je me souviens d'une ancienne news ou il avait fallu plusieurs MEGA watts pour générer... un plat de spaghettis

Maintenant ils arrivent a faire ça de manière beaucoup plus efficace:
https://medium.com/syncedreview/biggan-a-new-state-of-the-art-in-image-synthesis-cf2ec5694024

Je vais essayer cette semaine de m'attaquer à des fleurs jaunes ^^
J'espère que ce ne sera pas trop dure.

Voici un début:

Je me demande ce que ça va donner, t'as un dataset de combien d'images?

Je vais utiliser: http://www.robots.ox.ac.uk/~vgg/data/flowers/17/

C'est 17 types de fleurs et 80 fleurs de chaque types. Je ne vais utiliser que 1 type.

Puis je convertis le tout en 32x32
~~~
for i in *.jpg
do
echo $i
convert $i -thumbnail 32x32^ -gravity center -extent 32x32 $i.png
done
~~~

Un peu mieux:


J'ai l'impression que je suis très limité au niveau de ma puissance de calcul. Il faudrait que j'utilise mon GPU.

Oui pour les GAN vaudrait mieux
Bon déjà ça ressemble a quelque chose sur le dernier exemple, alors que le training set a l'air assez petit.

Je vais essayer de faire une implémentation GPU de mon réseau de neurones.

Je vais essayer utiliser Dawn, l'implémentation WebGPU de Chrome:
https://dawn.googlesource.com/dawn/
C'est encore un projet très work-in-progress, je risque de me faire breaker tout les mois, mais je risque d'apprendre beaucoup.

Ah je savais même pas qu'on pouvait faire du calcul GPU sur navigateur, c'est fun :p

WebGPU n'est pas encore finalisé. Il va falloir attendre un futur semi-lointain.

J'ai vu une référence à let's enhance, c'est une arnaque ce truc. Ce n'est rien d'autre qu'une version payante de réseaux comme celui-ci: https://github.com/brade31919/SRGAN-tensorflow
Je l'ai testé à plusieurs reprises et c'est assez cool, on a fait de l'upscale de vidéo à partir de ça

Let's enhance est assez vieux, c'était pas très démocratisé à l'époque, et le prix est vraiment raisonnable, sans compter les slots gratuits.
Tout le monde n'a pas forcément la motive d'installer tout un framework pour rescale des images, ni le hardware, surtout que certains sont très chiants a install, et les réseau d'upscaling sont vite coûteux en perfs.
Bref on est très loin d'une arnaque. Ils ont leur propre algo, leur propre training set, et ils donnent les résultats en quelques secondes max (testé en gratos), et ça marche vraiment bien.

Dans le même style moi j'ai waifu2x qui est un CNN d'upscaling adapté surtout aux images de style digital painting / manga / anime.
Très rapide sur ma geforce 670 d'ailleurs. Il a pas la qualité de Let's enhance par contre (il ajoute généralement pas ou peu de détails, c'est surtout un agrandissement propre).

Je testerais SRGAN-tensorflow a l'occase, si j'arrive enfin a installer TF....
Ça peut être sympa de comparer un peu ce qui existe.

Y a aussi RAISR de google qui a l'air très efficace.

Teste pix2pix-tensorflow également :p
Je devrais faire un système d'upscale gratuit juste pour leur mettre une douille...