Yasuko : un projet d'IA pour retrouver les animés

ça fait plus de deux ans que je n'ai rien posté dans cette section alors que pourtant je m'étais promis de le faire xD
Mais bon on va dire que j'ai une bonne excuse puisque ça fait maintenant deux ans que je travaille sur un projet de programme qui permet de retrouver un animé ou un manga à partir des souvenir d'un utilisateur.

Au début je voulais faire un gros post une fois le projet terminé car je pensais honnêtement qu'il allait me prendre 1 an grand max (que je suis naïf...)
Je ne voulais faire qu'un petit truc rapide pour m'amuser et sans aucune prétention. Je savais que c'était quelque chose qui peut être utile à beaucoup de monde et qui peut facilement être dérivable (film, livre, etc...)
Mais au final deux ans plus tard, je commence tous juste à toucher du doigts le début d'une v1 viable.
Je me dis que tant qu'à faire je peux raconter les différentes étapes ici.

De un ça me forcera à avancer (j'ai une motivation de montagne russe vu que je suis en réalité le seul a travailler sur ce projet!
Je vais mettre une sorte de sommaire avec les liens vers les différents post de ce sujet qui racontent les principales étapes.

Bonne lecture.

Sommaire :
I. le commencement et la première année
II. le premier prototype formule de Baye
III. le scratching : les 5 jours d'attente...
IV. Le début des IA
V. Les petits soucis de mémoire...
VI. L'essai avec Google Collabs

Ce genre de sites ferait fureur avec les films ! (mais ça doit demander un travail titanesque Shocked

)

Je suis curieux de savoir ce que ça donnera, avec les animes déjà :ouep:

I. le commencement et la première année

Le projet est né lorsqu'un pote et moi on se cherchais un animé et on se souvenais que de quelques scènes... Pour la petite histoire, au final, on a réussi à le retrouver mais presque un an plus tard xD et en plus on s'est rendu compte que l'on pensais tous les deux à des animés différents...

Comme tout projet, on a commencé par faire la liste de ce que l'on voulait faire. Et comme beaucoup de personne qui commence un projet perso je pense (en tout cas moi c'est toujours mon cas...) on s'est beaucoup trop chauffé au début.

On souhaitait intégrer au site :

une recherche par mots clefs (je dirais basique)
une recherche par personnage
une recherche par citation
une recherche par OST
et puis des connerie genre des logiciels et un OS (oui je m'étais vraiment chauffé à l'époque )

Au départ, on s'était répartie les taches. Je devais faire le site web qui accueillais l'IHM (interface entre l'humain et le programme) et lui devait s'occuper du réseau de neurones. Lui avait l'immense avantage d'avoir déjà fait du réseau de neurones pour distinguer les chiffres en cours.

Du coup de septembre à décembre j'ai développé le site web (j'ai dû apprendre le PHP, le MySQL et le javascript). J'ai refais le site trois fois, notamment parce que je le fait un peu à l'instinct et que je me rendais compte, au hasard, que mon architecture de site était stupidement compliqué.
J'ai surtout appris que j'étais une brelle en UI et UX.
Pour ceux qui ne le savent pas l'UI c'est faire une jolie interface et l'UX c'est de faire une interface qui est logique et intuitive pour un utilisateur... Et je suis une immense brelle dans les deux xD. Je suis un développeur orienté BackEnd (c'est à dire la logique de fonctionnement d'un programme, la boite noire qu'un utilisateur normal utilise.

Après avoir fait une version du site qui est toujours moche (si ça intéresse des gens je dois encore avoir des screens de cette époque qui traîne quelque part sur mon ordinateur ^^.

Ensuite, j'ai aidé mon copain qui pendant que je faisais joujou faisais des résumés d'animé qu"il regardait. J'ai donc décidé de résumer les animés "récent" c'est à dire qui sortait chaque saison pour qu'il puisse aussi prendre du bon temps en regardant des animés. On a fait ça durant la première année globalement. Nous sommes partie à l'étranger pour effectuer notre premier semestre académique obligatoire et nous avons pratiquement fait que ça (même si je travaillais aussi sur un jeu vidéo en parallèle (je pourrais en parler dans un sujet si ça intéresse des gens xD) et que j'ai effectué mon premier vrai stage en entreprise durant les vacances d'été. Du coup ma participation n'était pas énorme... Surtout que j'avais tendance à faire des énormes résumés et à chercher le plus possible les noms des OST qui passait (promis c'est relou...)

Kudo-sensei a écrit:: Ce genre de sites ferait fureur avec les films ! (mais ça doit demander un travail titanesque )

Je suis curieux de savoir ce que ça donnera, avec les animes déjà

Je t'avoue que rien que pour les animés c'est un travail monstrueux alors pour les films xD
le plus gros avantages que je vois c'est que ça peut surtout te permettre de connaitre des œuvres dans un certains styles même si elles sont peu connu ça pourrais apporter un peu de diversité
(désolé pour le double post mais je voulais séparer ma réponse de la partie texte pure)

J'ai deux questions de néophyte :

- N'y a-t-il pas moyen d'importer les infos (résumés, OST...) depuis d'autres sites ? Un peu comme un comparateur de prix.

- Est-ce que l'IA est évolutive ? Comme Akinator par exemple, à la fin l'utilisateur valide la proposition du logiciel. Et le programme garde en "mémoire" les infos de l'utilisateur. D'ailleurs, ça serait amusant de pouvoir challenger le programme comme ça. Et il s'améliorerait avec l'expérience. C'est prévu comme ça ?

Kudo-sensei a écrit:: J'ai deux questions de néophyte :

- N'y a-t-il pas moyen d'importer les infos (résumés, OST...) depuis d'autres sites ? Un peu comme un comparateur de prix.

- Est-ce que l'IA est évolutive ? Comme Akinator par exemple, à la fin l'utilisateur valide la proposition du logiciel. Et le programme garde en "mémoire" les infos de l'utilisateur. D'ailleurs, ça serait amusant de pouvoir challenger le programme comme ça. Et il s'améliorerait avec l'expérience. C'est prévu comme ça ?

yup pour les deux
je vais en parler dans les prochains posts (que je ferais sans doute demain car il me faut un ou deux schéma explicatif je risque de parler un peu technique mais j'ai envie de le faire le plus claire possible. Si je n'arrive pas à l'expliquer de manière simple ça veut dire que je ne l'ai pas compris...

Mais en résumé pour la première chose j'ai trouvé le moyen cet été et pour la deuxième ouais car pour l'instant on se fait une idée de ce que son des souvenir d'utilisateur mais ça peut être vachement flou. Et de toute façon avec les réseaux de neurones plus tu as de données mieux c'est

Intéressant ! J'ai hâte de tester :pompom:

Même si je n'y connais rien, j'aime beaucoup les sujets d'IA, le test de Turing...etc. L'an dernier, je me suis amusé à tester les meilleurs chatbots proclamés sur le net. Et je dois avouer que j'ai été déçu

C'est un super projet ! Même avec les explications, je comprends rien de rien au langage informatique par contre, désolée Razz

J'ai juste hâte d'essayer et de m'amuser avec !

Ca m'a l'air génial comme projet vivement que l'on puisse le tester !

Merci pour tout le boulot SA

II. le premier prototype formule de Baye

Bon passons à la suite et au premier prototype qui a vraiment fonctionné.
Comme la dis kudo au bout d'un moment avec mon pote on s'est rendu à l'évidence +-150 animés résumés en un an c'est absolument ridicule et complètement pourri. Si on continuais comme ça faire la base de données allais nous prendre des années et durant ces années ils fallaient que l'on garde la motivation. Vous vous êtes sans doute jamais prêté au jeu de résumé un épisode d'un animés mais promis c'est super chiant...

Je pense qu'il y en as pas mal qui le savent mais je suis dans une école d'ingénieur du numérique. Je suis donc allez voir l'une des associations spécialisé de mon école pour leur présenté le projet avec mon pote (qui entre temps s'est fait viré de l'école mais bon ça c'est une autre histoire). Bon il s'avère que avec un peu de recule ce fut une bonne et une mauvaise idée.

Une mauvaise idée parce que je ne m'étais pas exactement adressé a la bonne assoc et il était spécialisé dans la création d'entreprise. Chose qui on va être honnête ne m’intéresse absolument pas. Cependant, ils m'ont guidé vers le bon prof qui pourrait m'aider un peu dans notre projet !
Cependant, avant d'aller le voir je voulais tenter deux trois choses et notamment un premier prototype histoire de lui poser des questions qui soient un minimum utile.

Du coup j'ai fait deux choses. Premièrement, je suis allé sur des sites contenant les résumés d'animé comme détective Conan (forcément) et quelque gros comme one piece et bleach. Je dois préciser quand même que pour le moment le programme devait être en français ! Une fois que j'ai récupéré ces différents résumés j'ai créé une bonne base de donnée qui stockait les différents mots trouvé dans les résumés avec le nombre de fois ou il apparaissait pour un même animé.

Depuis le début je parle beaucoup de programme, d'IA, de réseau de neurones. Bon on va être honnête le mot IA est complètement putaclick une vrai IA au sens un programme doué de raison c'est impossible (du moins à ma connaissance). Ensuite la différence entre un programme et un réseau de neurones c'est que l'on peut comprendre ce qu'il se passe et c'est globalement beaucoup plus simple pour moi alors que pour un réseau de neurones on ne sait pas ce qu'il se passe à l’intérieur. Quand je dis ça, je veux dire que l'on ne connait pas les paramètres que prends en compte un réseau de neurones.

J'ai donc tenté de faire un programme utilisant la formule de Bayes. Voici la formule que j'ai mis au point au final :

Yasuko : un projet d'IA pour retrouver les animés Unname10

avec :
nbMotTrouve = le nombre de mot a la fois présent dans le texte de l'utilisateur et dans la table de l'animé correspondant.
tailleDuTexte = la taille du texte de l'utilisateur
nbOTA = le nombre d’occurrence totale dans la table de l'animé.

Une fois que le score a été obtenu pour tous les animés, On encadre les résultat entre 0 et 100 afin d'avoir des pourcentages.
J'avais bidouillé un peu la formule et on ne va pas se mentir sur des animés bien connu ça marchait super bien ! je vous ai retrouvé un exemple (on ne juge pas la partie graphique xD) :

Spoiler:

Bon le seul problème c'est que sur les petits animés ceux ou on n'avait pas grand chose les résultat était complètement cassé :

Yasuko : un projet d'IA pour retrouver les animés Unknow10

et après en avoir parlé longtemps avec le prof et lui avoir présenté le prototype, nous avons décidé de partir sur un réseau de neurones récurent.
Mais ça ce sera pour la prochaine fois ^^

Comment fonctionne la recherche par personnage et par OST ? :question:

Je dirais que pour l'instant elle ne fonctionne pas xD

la recherche par personnage elle viendra dans un second temps normalement, quand on aura déjà réussi à reconnaître à quelle épisode le souvenir de l'utilisateur fera référence (mais en gros ce sera aussi un réseau de neurones je pense)

Pour les ost par contre je pense que ce sera plus simple tu prends la liste de tous les ost et tu regarde (même si le travail préliminaire va être long)

III. le scratching : les 5 jours d'attente...

Bon le problème avec les réseaux de neurones c'est que je n'y comprends rien... Je pige rapidement la logique de base mais il faut avouer que un programme ou tu balances des données et tu reçois en sortie la donnée que tu veux ça ne me parle pas beaucoup. Même pire, c'est plus ou moins le contraire de ce que je suis pas capable de comprendre. J'ai toujours eu des facilités en maths et à fortiori en informatique, mais les réseaux de neurones je trouve que c'est trop éloigné de ma logique première.

En gros je sors de ma zone de confort et de prédilection. J'ai d'abord commencé à lire la thèse qu'un des camarades de Sacha avait faite (encore merci pour ça d'ailleurs Sacha !) Mais je me suis rendu compte que c'était assez loin de ce que je souhaitais faire. Et j'ai du suivre des cours sur les réseaux de neurones en générale et plus particulièrement sur la classification de texte.

En effet, c'est clairement ce que je souhaite faire sauf que à la place des type de texte je cherche un nom d'animé. Et c'est pour ça que je me suis porté vers les réseaux de neurones récurent. Je ne vais pas vous expliquer pourquoi ni comment j'en suis arrivé à cette décision mais c'est globalement car le rapport qualité de résultat/performance était celui qui m’intéressait le plus.

Bon mais le seul problème c'est que une fois que j'avais compris ça qu'est ce que je devais faire... Le prof m'avait très clairement fait comprendre que ce projet devrais être un projet à plein temps et qu'avec les cours ça allait être ultra compliqué. Et je dois avouer que même si au départ j'ai été assez confiant sur ma capacité de travail et je pensais être mesure de tenir les deux de front sans problème. J'avais très clairement oublié que j'avais un cours d'assembleur, des "camarades" branleur sur des projets à 6 et un stage à trouver malgré la pandémie xD.

Et grosso merdo j'ai réussi à trouver mon stage vers début août, et après deux semaines de vacances sans toucher a un ordi (psk ça fait du bien des fois). J'ai dû m'attaquer à l'un des problèmes majeurs quand on veut faire des réseaux de neurones c'est les données... Je crois en avoir déjà pas mal parlé. On est passé de on résume des animés à la main à un copie colle des résumés déjà fait sur internet. Mais après avoir traité One Pièce et Detective Conan je vous avoue que j'avais mal à la main à force. Mais bien sûr quand j'ai un problème de ce type alors on peut automatiser !

Et c'est ce que j'ai fait jusqu'à fin août et une semaine avant la fin du mois j'avais fini me programme de scratching (le programme qui récupère des données). Le programme a tournée pendant 5 jours. Bon j'avais fais une seule petite connerie : je l'avais fait en Python. Alors pour les gens qui n'y connaissent rien, le Python est un langage de programmation qui est très facile à comprendre mais qui est très peu performant. Par exemple on avait en cours fait la comparaison entre un programme en C++ (l'un de mes langages de prédilections mais l'inverse complet du Python...) et le même en Python. Les résultats étaient assez violent : en C++ 2ms et en Python 1min40s. Donc j'aurais peut être du prendre un peu plus de temps pour le coder en C++ et j'aurais peut être pût avoir les résultats plus vite.

Voici le screen que j'ai pris à la fin du programme :

Yasuko : un projet d'IA pour retrouver les animés Unknow11

Alors j'étais vachement content même si bon il reste quelques conneries dans l'affichage mais bon j'avais très clairement la flemme de relancer le programme et ne plus pouvoir utiliser mon ordinateur pendant 5 jours juste pour des problèmes de langue et d'affichage, j'avais un peu la flemme.

Comme vous pouvez le voir j'ai réussi à recolter 3 millions de resumés pour un poids d'un peu plus d'un 1Go ( ce qui est pas mal pour des fichiers txt) même si assez petit pour un monde ou les unités sont données en To (l'unité au dessus des Go). Et même si les résultats sont assez disparate et certains possèdent très peu de données.

Et mine de rien on s'approche pas mal du temps actuel et pour le prochain (que je ferais surement la semaine prochaine) il faudra savoir que je n'ai absolument toutes les réponses vu que c'est presque des rapports en Live. Donc je ferais surement beaucoup de connerie...

IV. Le début des IA

Bon il a fallu faire une dernière passe dans les données puisque pour certaines raisons dû à mon algorithme de récupération des données, j'avais aussi des paroles de chansons en japonais... Du coup j'ai dû faire un dernier passage pour enlever toutes ces lignes. Ma méthode a été assez simple en réalité. J'ai récupéré la liste des 100 000 mots les plus couramment utilisés en anglais et j'ai compté le nombre de mot qui ne sont pas dans cette liste et si dans une ligne il y a plus de 75% de mots "non anglais".

Bon la deuxième chose à faire ça a été de prendre en main les outils informatiques qui permettent de créer un réseau de neurones. Et là ça a été la Berezina... Autant vous dire que j'étais plus ou moins comme ça hier soir juste avant que je trouve la solution : pleurs

J'ai fait un petit fichier python qui devais me permettre de vérifier que l'outil (la librairie) était bien installé. Le script faisait genre juste deux lignes, la première pour charger l'outils et la deuxième pour afficher un truc pour montrer que ça c'est bien passé. ça donnais ça :

Yasuko : un projet d'IA pour retrouver les animés Unknow12

Autant dire que normalement c'est pas la mer à boire et bah ça a été une purge monumentale... disons qu'au début l'erreur que j'ai eu a été votre outils est dans une version pas assez récente nous avons besoin d'une version 2.2 ou supérieur. PETIT problème, j'étais en version 2.3 de l'outil... J'étais un peu salé par cette erreur. Mais ce n'est pas le pire. Mon ordi fixe est un vieux papi, il date de 2008. C'est un ancien serveur que j'ai retapé. Donc bon au niveau performance du processeur ça va mais au niveau de la carte graphique disons que ma carte graphique doit coûter une dizaine d'euros actuellement...

Mais bon de toute façon après un peu de bataille, j'ai enfin réussi à installer une bonne version de l'outils. MAIS ce n'est pas fini. J'ai eu la pire erreur possible :

Yasuko : un projet d'IA pour retrouver les animés Unknow13

.
Bon ça en gros c'est l’ultime pied bouche que je me suis pris en pleine tronche... ça veut dire que l'outils ne peut pas être installé sur ma machine.

Alors bon vu que j'ai un système d'exploitation disons particulier et je m'attendais a un coup de ce genre (même si le fait que ça vienne de la partie hardware de mon ordi je ne l'avais pas vu venir... Heureusement j'ai un ordi portable et après avoir fait toutes les mise à jour car ça fait presque 10 mois que je ne l'avais pas allumé j'ai enfin réussi à installer l'outils !

Bon au niveau de la partie logique et programmation. J'étais partie au début pour un énorme réseau de neurone qui permet de directement récupérer de quels animé/manga on parle en claquant des doigts. Bon sauf que c'est une pure connerie après y avoir réfléchi ça risque de prendre beaucoup trop longtemps et d'être un enfer à mettre à jour (par ce que oui un une fois que le reseau de neurone est mis en place il faut que je le mette un peu à jour avec les entrées utilisateurs et les nouveaux animés/mangas qui sortent). Sinon ce sera pas aussi bien que ce que je le pensais.
Et bon c'est aussi mon premier reseau de neurones donc si je pouvais faire un truc assez simple et qui en même temps me simplifiera la tache. J'ai donc décidé de faire un reseau de neurones qui à partir d'un texte entré par un utilisateur récupère les genres associés j'ai compté sur my anime list 44 genres (j'ai enlevé le genre hentai et j'ai rajouté à la place mini-histoire qui bizarrement n’apparaît pas dans MAL). Je suis encore en train de me demander si je dois prendre en compte le genre comedy vu est sur 56% des animés que j'ai récupéré...

Pour tout vous dire j'ai encore quelque démarche administratives que je dois mener à l'école mais dès quelles sont finis l'entrainement du réseau de neurones devrait commencé ! J'ai bon espoir d'avoir un prototype finis de celui-là avant la fin du moi que je pourrais sans doute rapidement mettre sur un site web (mais je ne fais aucune promesse pour cette partie là xD)

Le prochain post se fera sans doute quand j'aurais fini ce premier reseau de neurones !

Ah oui, les mises à jour, c'est un truc chiant avec les réseaux de neurones ... et avec l'apprentissage supervisé de façon général.
En même temps, je ne vois pas comment tu pourrais faire avec de l'apprentissage non supervisé.

en non supervisé franchement je ne le ferais pas...
Déjà que j'ai un peu de mal avec l'approche tu balances tes entrées et tes sorties et le reseaux de neurones te crée des poids qui te permettent de de passer de l'un à l'autre... Alors si en plus en plus tu me dis ok tu balances juste les sorties et t'inquiète le programme se dépatouille tout seul...
La si je vais dans cette direction mon cerveau explose xD je suis pas en mesure de comprendre ça...

La je vais utiliser tensorflow donc l'avantage c'est que c'est assez facile d'utilisation et tu as la partie je transforme les mots en chiffre qui se fait seul ce qui en soit est génial. Après pour les mises à jour celui-là je pense que je le mettrais à jour que très peu souvent les genres ne vont pas changer et j'ai quand même pas mal de chance vu que pas mal de manga/anime sont extrêmement codifié.

Pour la partie 2 donc passé des genres à l'animé ouais la il faudra les mettre à jour plus souvent même si en soit on peut se dire un animé qui est recent à beaucoup moins de chances d'être cherché qu'un animé ancien. Pour la partie 3 (je ne sais pas si j'arriverais à la faire), faire le lien entre un animé et un épisode la en soit je pense que à part pour les animés qui sortent encore régulièrement (genre one piece et detective conan ou la tu as un episode par semaine...) je ne devrais pas trop avoir besoin d'y toucher

même si j'ai quand même réfléchi a comment mettre à jour les différents modèle j'avoue que là je suis plus en train de me demander comment est ce que je vais nommer la première IA que comment optimiser la mise à jour.
Je sais qu'il y a un projet français qui cherche à faire de la mise à jour continue sur github... Mais clairement je suis trop peu compétent dans ce domaine pour aller regarder la dedans

Citation :: le Python est un langage de programmation qui est très facile à comprendre mais qui est très peu performant

Mdr quand je lis ça, les langages de programmation et moi ça fait 2. Le peu de python que j'ai ou boulot, je le refile à quelqu'un d'autre tellement ça me rebute direct, j'ai même pas envie de chercher à comprendre, c'est pire que du chinois. Et c'est soit-disant facile ^^".

Du coup pour résumer tu vas faire quoi maintenant :
- recherche animé / manga à partir de mots clefs
- recherche épisode spécifique d'un animé / manga (à retrouver ou à renseigner en pré-requis ?) à partir de mots clefs
- recherche d'un animé / manga à partir de thématiques en mots clefs
- les trois en même temps ?

Je trouve personnellement le python facile à apprenender tu as pas l'extrême rigeur que tu dois mettre en C/C++/Assembleur et tu comprends assez vite.
Le code que je trouve le plus compliqué à comprendre perso c'est l'assembleur xD je t'ai mis un petit exemple en spoiler pour te montrer à quels point c'est une purge...
Et la je crois que c'est juste un code qui gère les interuptions (et encore je suis plus sur alors que je l'ai écris il y a seulement 3 mois xD)

la muerte:

J'espère faire les trois. En fait vu que mon idée de base c'est les souvenirs des utilisateurs par écrits tu peux faire les trois en même temps.
C'est juste que ça va être plusieurs étapes que je ne pourrais pas gérer en même temps. Par exemple pour :

Conan-Fab a écrit:: - recherche épisode spécifique d'un animé / manga (à retrouver ou à renseigner en pré-requis ?) à partir de mots clefs

je vais avoir besoin d'une quantité titanesque de données car pour chaque épisode il me faut plusieurs exemples de résumés qui le designe dans des styles différents etc.
Du coup ce ne sera pas disponible tout de suite (même si quand j'en parle au gens c'est généralement la partie qui fait WHOA)
Mais a terme ouais j'ai bien prévu de pouvoir remplir toutes ces fonctionnalités

Perso je trouve que déjà la partie 1 (recherche nom animé / manga) c'est déjà énorme si ça fonctionne (et selon tes tests ça a l'air vraiment sur la bonne voie).

La muerte m'a tué.

Ouais je pense aussi !
Tout vas dépendre du premier réseau s'il marche bien alors je devrais aller cresendo, par contre si ça plante je sens que je vais avoir un long passage à vide (aka reregarder l'intégrale de detective conan + denpa kyoushi xD)

T'inquiète pas moi aussi je ne sais toujours pas comment j'ai réussi à avoir un 20/20 dans cette matière même deux semaines après je ne comprenais plus rien de ce j'avais fait xD

L'assembleur, je n'ai jamais eu le courage de, ne serait-ce, que regarder comment ça fonctionne.

Le python est plus facile, mais en même temps, par son manque de rigueur, je le trouve presque plus difficile et surtout, c'est le moins pédagogique. Je pense que le C++ est mieux pour apprendre l'informatique (enfin, disons, un C++ sans pousser le coté objet).

Sans-Atout a écrit:: Déjà que j'ai un peu de mal avec l'approche tu balances tes entrées et tes sorties et le reseau de neurones te crée des poids qui te permettent de de passer de l'un à l'autre... Alors si en plus en plus tu me dis ok tu balances juste les sorties et t'inquiète le programme se dépatouille tout seul...

Disons que le coté "tu balances juste tes entrées" est intéressant pour d'autres problèmes ou alors pour ton problème mais avec une approche exacte, et donc un algo plus lent. Pour ce que tu veux faire, ça ne me semble pas adapté. Mais quand tu veux faire de la classification par exemple, tu peux utiliser du non-supervisé.
D'ailleurs tu verras, mais peut-être que tu vas toi même créer tes propres groupes de manga/anime en fonction des recherches de tes utilisateurs pour rendre ton algo plus efficace, et à ce moment, la classification non-supervisé te sera utilse (car rien ne garantie que les groupes du genre "manga daction", "manga comique", etc sont les meilleurs groupes pour l'apprentissage de ton réseau de neurones).

Sacha a écrit:: Le python est plus facile, mais en même temps, par son manque de rigueur, je le trouve presque plus difficile et surtout, c'est le moins pédagogique. Je pense que le C++ est mieux pour apprendre l'informatique (enfin, disons, un C++ sans pousser le coté objet).

Assez d'accord mais pas vraiment pour le côté objet. C'est une partie fascinante de l'info et qui permet de comprendre des choses. A contrario l'allocation et la gestion de mémoire bon comment dire... C'est pète gueule et tu peux rapidement faire des conneries si tu es pas hyper attentif et bon pour l'avoir vu dans ma classe soit les gens ne comprennent rien et quand tu leur propose de les aider il te demande la soluce.
Après j'ai apris avec le C++ et je suis d'accord pour dire que selon moi c'est le meilleur langage a apprendre en premier.

Sacha a écrit:: Disons que le coté "tu balances juste tes entrées" est intéressant pour d'autres problèmes ou alors pour ton problème mais avec une approche exacte, et donc un algo plus lent. Pour ce que tu veux faire, ça ne me semble pas adapté. Mais quand tu veux faire de la classification par exemple, tu peux utiliser du non-supervisé.
D'ailleurs tu verras, mais peut-être que tu vas toi même créer tes propres groupes de manga/anime en fonction des recherches de tes utilisateurs pour rendre ton algo plus efficace, et à ce moment, la classification non-supervisé te sera utilse (car rien ne garantie que les groupes du genre "manga daction", "manga comique", etc sont les meilleurs groupes pour l'apprentissage de ton réseau de neurones).

Effectivement ça pourrais être vachement interessant mais je vais attendre d'avoir un peu de théorie en cours la dessus (une fois que mon stage sera finis) pour y toucher. Car j'avoue que j'ai quand même un peu peur du résultat qui va en sortir xD

Après, si par la notion de mémoire tu parles des "malloc", oui, je suis d'accord, c'est d'ailleurs pour ça que le C++ est plus intéressant pour apprendre que le C. Mais en ce qui concerne les types de variable, je pense que c'est important de faire attention à ça dès le début, sans forcément entrer dans le détail que la gestion de mémoire d'un int n'est pas la même qu'un char par exemple. Enfin je dis ça, mais je l'expliquais quand même aux étudiants, pour leur expliquer l'importance d'initialiser les variables, car sinon, ils oubliaient.

V. Les petits soucis de mémoire...

Bon bah au final je n'ai pas fini (désolé si j'ai fait un faux espoir à certain....
ça a été une bonne grosse galère et toutes ne sont pas finis (au moment ou j'écris je suis encore entrain de débuger le programme).

Je me suis aussi rendu compte que mon installation de tensorflow (l'outil qui me permet de faire le réseau de neurones) était foireuses Yukiko 2

Du coup comme j'ai pas mal ragé (vous pouvez me croire) j'ai choisi la solution la plus simple j'ai réinstaller windows et suivit un tuto qui fonctionne.

Cependant, les problèmes ne s'arrêtes pas la, j'ai eu un petit problèmes de rien du tout :

Yasuko : un projet d'IA pour retrouver les animés Unknow14

Yasuko : un projet d'IA pour retrouver les animés Unknow15

En très gros pour ceux qui ne comprennent pas j'ai un ordinateur avec 8Go de mémoire. C'est ce qui me permet de stocker mes variables et la l'ordi me dit qu'il lui manque au minimum 200Go pour pouvoir faire tourner le programme. C'est juste monstrueux.

Et le petit problème c'est que c'est la partie qui est sensé convertir les phrases en chiffre... Je peux donc moyennement bidouiller.
Enfin normalement Gin 1

J'ai donc du faire la tokenization moi même. J'ai donc du parcourir toutes mes données et compter le nombre de fois ou les mots apparaissent.
J'ai du découper en 3 lots de données car mon PC crashais si je tentais de tout faire en une seule fois...

Une fois cela fait j'ai du ajouter une petite étape necessaire vu que je faisais l'étape à la main et non pas avec les outils proposé par TensorFlow...
Sauf que la nouveau problème et de taille ! J'ai eu une erreur. Et une erreur horrible dans le sens ou je ne savais absolument pas ce qui l'a causais.
Normalement quand on a une erreur dans un programme ou dans un script on a ce qui s'appel une trace qui permet d'enquêter et de résoudre l'erreur.
Sauf que la la trace était dis fois trop longue et donc dépassais la taille maximum de la console. J'ai donc du débuger à l'aveugle sans savoir quelle était l'erreur ni ou elle arrivait ni ce qui pouvait la causer.

pour le fun j'ai pris un screen de cette erreur mémorable que je mets en spoiler :

Spoiler:

Bon au final j'ai réussi je ne sais trop comment à résoudre cette erreur. Mais comme on le dis souvent quand y en a plus y en a encore ^^

Je continue donc de me battre contre mon programme en espérant que je réussisse un jour xD

Le drame de ma vie au boulot de toujours trouver des moyens pour faire tourner les programmes sans crash avec des données sources de plus en plus lourdes et un ordi déjà au max avec 16Go de mémoire vive.

» OPENING SHOWDOWN - Tournoi d'openings ! (Pour de bon, pour de vrai !)
» La fin de Naruto ( +Projet New Era )
» [Inscriptions, débat et miséricorde] Tournoi d'opening d'animes !
» Ace Attorney sur Switch pour 2018
» [Épisode 39] Un acte désespéré pour l'amitié