CBNA_PHPBB_Analysis

Bonjour à la communauté !
Aujourd'hui, j'aimerais vous présenter un petit projet sur lequel nous pourrions travailler ensemble.
Pour une fois, c'est un projet tellement petit qu'il est certain que nous le terminerons.

C'est quoi ?

Il s'agit de produire un petit ensemble d'outils pour télécharger, parser et analyser le forum du CBNA (Ou n'importe quel forum qui possède cette structure)
L'idée c'est surtout de donner la possibilité à n'importe qui d'extraire les informations qu'il souhaite du forum, en assemblant quelques fonctions.

Pourquoi faire ?

A vous de trouver !
J'ai déjà quelques idées. Nous pourrions produire des statistiques intéressantes, par exemple : le nombre de posts par personnes, les mots que nous utilisons le plus souvent, des graphiques en tous genre ...
Je suis certain que vous trouverez des idée fantastiques.
Pour ma part, nous travaillons sur le nouveau forum/site. Nous allons avoir besoin d'importer les topics et utilisateurs sur le nouveau site.

Comment collaborer ?

Vous le retrouverez le projet à cette adresse :
https://github.com/ArthurSonzogni/CBNA_PHPBB_Analysis

Si vous connaissez git et github, vous pouvez forker le projet et soumettre votre commit avec des pull-request.
Pour les autres, vous pouvez apprendre git ou bien m'envoyer vos amélioration par email.


Feuille de route

A nous d'en discuter sur le forum, c'est fait pour ça.

Quelques interrogation :
- Comment éviter de charger la bande passante du serveur (et eventuellement de se faire bannir) ? ( téléchargement incrémentale, téléchargement participatif, ...)
Après discussion, une limite de 1 téléchargement toute les 3 secondes semble pertinent.
Dans ces conditions, si on voulais analyser le forum en entier, il faudrait moins d'un jour.


Etat actuel

• Téléchargement d'une page web : OK
  
• Parsing du HTML : OK
  
• Parsing d'un message : OK
  
• Parsing d'un topic (plusieurs pages de messages ) : OK
  
• Stockage des données brut sur HDD : OK
  
• Reprise sur arret : OK
  
• Dépouiller les données : ~OK
  
  
  
  • Analyse de l'usage des mots : partiellement OK
    
  • Analyse de l'usage du forum dans le temps: partiellement OK
    
  • Autres idées : TODO
    
  
  
  
• Transformer BBCode en Markdown : TODO
  

Qui est partant ?

Résultats :

• Message par années
  
• Message par mois
  
• Message par année et mois
  
• Mot préféré par utilisateur (>6 lettre)
  
• Mot les plus utilisé ( + utilisateur qui l'utilise le plus souvent ) (version plus large)
  
• La base de donnée ( 30Mo -> 130Mo décompressé )Télécharger
  
• Classement d'utilisation de certains mots :
  
• Le classement d'usage de mots comme :
  
  
  
  • C++  
    
  • Java
    
  • Oui
    
  • Non
    
  
  
  

Je verrais si j'ai un peu de temps, ça peut être marrant et j'avais déjà commencé a regarder un peu de mon côté :p

Ce qu'il faudrait je pense, c'est pouvoir se connecter aux autres bots de téléchargement pour obtenir une liste de pages à récupérer (sans compter celles que les bots ont prévu de télécharger). Avoir la possibilité d'utiliser des proxy supplémentaires pourrait aider aussi pour augmenter la cadence de récupération (ou alors masquer l'user-agent pour se faire passer pour un bot indexeur... ce qui est relativement vrai? ).

Oui, avec ce que nous avons commencer, on utilise la libcurl, on peut facilement choisir son user-agent.
Mais j'ai pas d'idée de la limite imposée par forumactif.

Je pense plutot faire un truc qui télécharge lentement que je ferais tourner en tache de fond.
+ si c'est un peu long, compter sur plusieurs personnes.

A priori, il y a ~ 13 368 topics et ~ 359 000 messages si je ne me trompe pas.
Donc à peu près 2x13368 page à télécharger.
Avec 1 page toutes les 6 secondes, ça fais 1 jours de travail.

arthuro a écrit:

Oui, avec ce que nous avons commencer, on utilise la libcurl, on peut facilement choisir son user-agent.
Mais j'ai pas d'idée de la limite imposée par forumactif.

Je pense plutot faire un truc qui télécharge lentement que je ferais tourner en tache de fond.
+ si c'est un peu long, compter sur plusieurs personnes.

A priori, il y a ~  13 368 topics et ~ 359 000 messages si je ne me trompe pas.
Donc à peu près 2x13368 page à télécharger.
Avec 1 page toutes les 6 secondes, ça fais 1 jours de travail.

J'ai un VPS en stock, ça peut faire l'affaire.
Edit : Et les pages de topic?

J'avais fait quelques calculs sur le temps que prendrait le forum-importer, mais ça date d'un an et demi (bon un an et demi ici c'est rien )

Environ 359000 messages ont été postés. Les stats indiquent 352000 messages (certains ont été supprimés).
La somme des sections indique 325000 messages (va-t-on importer la section modo et la corbeille ?).

De même, 13368 topics ont été postés. Mais les stats indiquent 12567 topics et la somme des sections 11704.

Avec environ 12000 topics et 2 pages moyennes par sujet (1.93 en janvier 2015 pour être précis ), on a 24000 pages à importer.
Avec cette histoire des 3 secondes de forumactif entre chaque page, on peut importer le forum en environ 20 heures.
Et les pages de topics seront négligeables, 5 minutes maximum je dirais

Sinon ça a l'air vraiment pas mal tout ça, content de voir que ça avance.

Merci pour ces précisions Hyper.
Donc c'est jouable facilement. Impeccable!

Juste pour information, on peux maintenant parser l'ensemble des pages d'un topic.
On utilise gumbo-parser pour lire de l'HTML.
J'avais essayer tinyxml2 et libxml2 mais puisque le HTML n'est pas très XML-conforme, ça fonctionne pas.

Puis j'ai ajouter gumbo-query qui est un wrapper C++.
Il ajoute des requètes pour chercher des noeuds dans le HTML (jquery-like). C'est vraiment très simple du coup.

Quelqu'un à essayer de lire le code ? De compiler ?

Je suis en train de lire ton code actuellement, et je me questionne sur quelque chose, pourquoi tu as un seuil de fail à 10 ? A cause d'un truc genre id de topic décalé si topic masqué ou supprimé ? Mais dans ce cas 10 me parait trop arbitraire, non ?

J ai fais ça hier très tard. J ai vu que le parsing de certains topic ne fonctionnait pas. Peut-être qu'ils ont été supprimés ou inaccessibles. Je n ai pas encore regardé leurs codes HTML pour vérifier.

Mais oui, tu as raison, c est juste un petit bout de code arbitraire.

Petite update, on peut maintenant télécharger le forum en entier si on est patient.
On peut aussi sauvegarder les résultats sur le disque au fur et à mesure pour pouvoir reprendre les téléchargement ensuite.

Le CBNA devrait peser 100 Mo de texte (à la louche) pour près de 13000 topics Bravo !

Quelqu'un pour une review ?

Il y a plein de taches que j'aimerais bien faire :
* bbcode -> markdown. Peut-etre qu'on peux convertir les squared bracket en bracket et réutiliser le parseur de HTML ?
* Vérifier les informations que je ne parse pas encore qui pourrais être sympa à récupérer.
* Dépouiller les données ?
* Trouver des projets sympa qu'on puisse faire avec.

arthuro a écrit:

* Trouver des projets sympa qu'on puisse faire avec.

Faire des statistiques et voir quels mots sont les plus couramment employés dans un message qui mentionne Java pour rire.

update
* J'ai corrigé le problème d'encodage (windows-1252 -> UTF8)
* J'ai testé de télécharger le forum : Résultat : 120Mo stocké en json.  (Mais j'avais pas le bon encodage XD)
* J'ai fais un petit module pour analyser l'usage des mots. Je calcule la marginal sur une fonction qui donne le nombre  de fois qu'mots est utilisé en fixant tour à tour un paramètre parmis {auteur, mots, section} et en sommant sur le/les autres. Je vous imprimerais un résultat d'ici demain

Il faudrait que je rajoute la date d'un poste pour faire un graphique de l'importance de chaque sections en fonction du temps.

Ces statistiques ne son pas très bonne, regarder plutot celles du premier message.

Quelques stats :

Le ratio du nombre de mots par catégories :

|                                                Zut |      28.28%
|                                            Projets |      21.69%
|                                Entraide débutants |      15.52%
|                                Entraide confirmés |       4.73%
|                                         Game Maker |       4.58%
|                                Section Spirituelle |       4.25%
|                                            Le CBNA |       4.04%
|                                            CBN'ART |       3.65%
|                                    Projets communs |       3.09%
|                                      Compétitions |       2.84%
|                                      Programmation |       2.27%
|                                        Scripts GML |       1.59%
|                    Apprendre à utiliser GameMaker |       0.68%
|                                     Développement |       0.65%
|                                        Game Design |       0.61%

J'aimerais bien rajouté la dimension temporelle pour voir si il y a eut un changement au cours des années.

Mot préféré par utilisateur
http://pastebin.com/jVgpPsFM
Format :
--------------------------------------------------------
| Utilisateur | Mot(>4 lettres) | ratio(décroissant) |
--------------------------------------------------------

Mots (long) préféré   ( + utilisateur qui l'utilise le plus souvent )
http://pastebin.com/ibckqjnc
Format :
--------------------------------------------------------------------------------------------
| nb utilisation (décroissant)  | mot(>8 lettres) | Utilisateur avec ratio max | ratio |
--------------------------------------------------------------------------------------------



NB :

Il semble y avoir plein de biais / problèmes qui font que les statistiques sont discutables:
* La signature est incluse dans les messages.
* L'encodage ne semble pas être parfaitement bon. Il semble y avoir des espaces entre les mots.
* J'ai filtré pour plein de choses ( je ne garde que des mots suffisamment long, des utilisateurs suffisamment présent, ...)

Ahah effectivement y a un truc bizarre, genre mon mot le plus utilisé c'est 1S59BMO1 x)
Et mon mot long: compiler (ça encore c'est logique )

Beau boulot en tout cas!
Ce sera plus amusant a traiter quand ça sera dans une db bien structurée :p

Je vois que tu es 2 fois dans la base :

|               OniLink_ |             1S59BMO1 |         10% |
|   onilink_ModérateurM |                 quoi |       9.52% |

C'est dans le topic 403 que ce mot est utilisé ( 1 seul fois dans le forum )
      {                                                                                                                                                                                                            
           "author": "OniLink_",                                                                                                                                                                                    
           "content": "Moi j'ai créer un petit smash bros   , mais qui me\nt beaucoup trop de temps a charger...megaupload.com 1S59BMO1"                                                                            
       },  


Sinon, pour le mot "compiler" , classe !
Moi :
"argument", "sinon" et "aller" pour le tableau 1
"affichage" pour le tableau 2

Meme si les données sont imparfaite,
Je vais poster les données récoltés (~120 Mo) de json (30 Mo compressé).
https://1fichier.com/?gq018ssdjm
Il faut décompresser à l'endroit de l’exécutable :
https://github.com/ArthurSonzogni/CBNA_PHPBB_Analysis

Si jamais vous souhaitez analyser les données sans avoir à retélécharger le forum.

J'ai trouvé mes problèmes :
* Bizarrement il y a des sauts de lignes dans le document insérés au hasard. Je les ai enlevé. Cela semble marcher.
* J'ai une fonction qui découpe les mots. Mais c'est codé en UTF-8 du coup, la boucle byte par byte, c'est pas top. Une solution ?


Edit : Les problèmes sont résolus.

Nouveauté :
* On parse aussi la date de chaque message.
* Ajout de time_stat qui affiche des résumé du nombre de poste pour chaque Année, Mois, Année-Mois.

Qu'est-ce que j'ai avec "couleur(s)" moi ._.

Sinon sympas les stats o/

Edit: tu es sûr que c'est le même onilink_ ? Le post de cet invité date quand même de 2 ans avant l'inscription d'oni

Edit2: arthuro, certains mots les plus utilisés sont d'anciens smileys (gniah, snif2 etc), c'est normal ?
Et c'est moi ou Bast n'est pas dans la liste ?

Je me suis pas trouvé dans les stats

Mass a écrit:

Je me suis pas trouvé dans les stats

C'est pas "Max" ton ancien pseudo ?

J'y suis en double avec Chloro deltafile et Chlorod eltafile moi. x)

hyper a écrit:

Edit: tu es sûr que c'est le même onilink_ ? Le post de cet invité date quand même de 2 ans avant l'inscription d'oni

C'est donc un autre Onilink. Bien vu!

hyper a écrit:

Edit2: arthuro, certains mots les plus utilisés sont d'anciens smileys (gniah, snif2 etc), c'est normal ?

Pour l'instant, je ne parse pas les message. Je prend juste la concaténation de tous les textes internes aux balises.
Mais bientôt ce sera réglé.

hyper a écrit:

Et c'est moi ou Bast n'est pas dans la liste ?

Je refais tourner le programme (topic<4200/13000), je vois bast plusieurs fois :
Utilisateur, mot le plus utilisé.
| Bast | pour | 1.97% |
Mots plus utilisé, meilleur utilisateur :
| 412 | beaucoups | Bast | 0.101054% |
| 192 | Aurevoir | Bast | 0.0800198% |

hyper a écrit:

Je me suis pas trouvé dans les stats mop

Pareil j'ai refais tourner le programme (topic<4200/1300) je te vois plein de fois :
Utilisateur, mot le plus utilisé.
| Mass | pour | 2.05% |
Mots plus utilisé, meilleur utilisateur :
| 366 | impression | Mass | 0.152323% |
| 305 | totalement | Mass | 0.152323% |
| 233 | installer | Mass | 0.0761615% |
| 225 | ramasser | Blizter | 0.841827% |
| 171 | meilleurs | Mass | 0.0761615% |
| 164 | meilleure | Mass | 0.0761615% |
| 161 | versions | Mass | 0.0761615% |
| 136 | situation | Mass | 0.114242% |
| 124 | particulier | Mass | 0.114242% |
| 124 | informations | Mass | 0.114242% |
| 119 | amoureux | Mass | 0.114242% |
| 108 | sentiments | Mass | 0.609292% |
| 102 | contrairement | Mass | 0.0380807% |
| 98 | septembre | Mass | 0.0761615% |



J'ai corrigé plusieurs problèmes. Je retélécharge tous et vous renvoie les résultats.
En plus, il y a des statistiques de temps maintenant.

Je me demande ce que ça donnera avec le temps, on aura peut-être 100x plus de messages en 2006 qu'en 2016 :p

C'est vraiment cool ce que tu fais là Arthuro.

Voila plus de statistiques :

Message par années
Message par mois
Message par année et mois
Mot préféré par utilisateur (>6 lettre)
Mot les plus utilisé ( + utilisateur qui l'utilise le plus souvent )
Mot les plus utilisé ( + utilisateur qui l'utilise le plus souvent ) (version plus large)


+ La base de donnée ( 30Mo -> 130Mo décompressé )
http://wyvup.com/?c=A2QkIMf

Super, merci pour le graphique.
Simple curiosité, tu as utilisé quoi pour le faire ?

arthuro a écrit:

Super, merci pour le graphique.
Simple curiosité, tu as utilisé quoi pour le faire ?

Libre office, et plusieurs minutes o/

Vous l'attendiez tous :
Le classement d'usage de mots comme :
C++  
Java

Mais encore :
Oui
Non

Plutot dans la #teamOui ou la #teamNon ? XD
Moi 85 vs 79 OUI.


edit : Hyper m'explique pour BXD39 est le leader du "NON"
https://cbna.forumactif.com/spa/BXD39

27/13 C++
71/89 non
"non j'ai pas envie de passer au C++"