Mes agents IA font presque tout leur travail avec Opus, le plus gros modèle de Claude, au niveau d’effort le plus élevé. Je voulais savoir à quel point ça change quelque chose de prendre un plus petit modèle, ou de le faire moins réfléchir. Alors j’ai fait refaire dix tâches déjà livrées, du plus petit modèle au plus gros.
Pourquoi j’ai fait le test
Je voulais voir la différence que font le modèle et le niveau d’effort, selon les différentes tâches que je fais. Je voulais aussi voir le coût. Il y a des modèles hors des abonnements de Claude ou d’OpenAI, comme Kimi ou DeepSeek, que tu paies à l’usage. Est-ce que ça fait du sens de laisser tomber l’abonnement et de payer à la carte?
Ce premier test est resté chez Claude, qui a trois modèles. Pour moi, c’est comme des quarterbacks. T’as le starter, le backup et l’autre backup. Ici, c’est Opus, Sonnet et Haiku. Et leur niveau d’effort, ça reste le niveau d’effort. Plus il est haut, plus le modèle réfléchit longtemps avant de répondre, et plus ça coûte.
Comment je l’ai testé
J’ai pris dix tâches que mes agents avaient déjà livrées avec Opus, au plus haut niveau d’effort. Des petites et des grosses. Un bogue du menu sur téléphone, le plan d’un site, une page refaite avec du nouveau texte, un quiz en trois questions, les heures de match dans mon app de football.
Chaque tâche est repartie du même point de départ, avec les mêmes instructions. Puis elle a monté l’échelle. Haiku à effort bas, Sonnet à effort moyen, Sonnet à effort élevé, puis Opus à effort moyen. Le test s’arrêtait au premier modèle qui réussissait.
Réussir voulait dire faire aussi bien que ce qui avait été livré. Les mêmes vérifications passent, chaque demande de la tâche est faite, et les captures d’écran sur ordinateur et sur téléphone ne montrent aucun recul. Opus notait chaque essai.
Avant le test, je pensais que Haiku était conçu pour des trucs simples, répétitifs et ultra bien définis.
Ce que ça a donné
Sept tâches sur dix ont passé avec Sonnet à effort moyen, ou moins. Trois ont passé avec Haiku, un petit fichier de configuration et deux corrections de mise en page. Je ne m’y attendais vraiment pas. On dirait qu’il est capable de faire un peu plus.
Pour ces sept tâches, le bon modèle a coûté 3,53 $ US en tout. Opus les avait faites pour 34,72 $ US, presque dix fois plus.
Le test au complet aurait coûté environ 59 $ US à l’usage. 23 $ pour refaire les tâches, et 36 $ pour les faire noter par Opus. Noter le travail a coûté plus cher que le faire. Avec mon abonnement, ça ne m’a rien coûté de plus.
Ce qui a échoué
Les trois tâches les plus grosses ont échoué avec chaque modèle moins cher essayé. J’avais fixé un plafond de 20 $ US, et le test s’est arrêté avant de les essayer plus haut dans l’échelle.
Ce qui a raté, ce sont des détails. Haiku a brisé une tâche automatique de mon app de football. Sonnet a laissé des étiquettes cachées sous une bande d’ombre, sur deux pages. Sonnet à effort élevé a tout réussi sur une page, sauf un champ de formulaire.
Le pire, c’est que les essais ratés de Sonnet passaient toutes les vérifications automatiques. Sur l’un d’eux, le modèle disait dans son rapport avoir réglé exactement ce qui ne marchait pas. Il a fallu qu’Opus regarde le résultat pour le voir.
Je ne pense pas que ça m’aurait coûté un client.
Je le vois comme déléguer quelque chose à un stagiaire sans valider ce qu’il fait. C’est périleux.
Kimi et DeepSeek n’étaient pas dans ce test, alors je ne peux pas encore les comparer.
Pourquoi je garde mon abonnement
Ce que je retiens surtout, c’est qu’un abonnement vaut vraiment plus la peine que de payer à la carte. Facturé à l’usage, le travail de mes agents du 5 au 15 octobre aurait coûté environ 593 $ US. Mon abonnement Claude Max me coûte autour de 300 $ par mois.
Teste les modèles qui offrent un abonnement, puis all in sur celui que tu préfères. C’est ce que je fais avec Claude. Quand il est en panne, je suis à l’aise d’utiliser Kimi, avec OpenCode.
Pour le forfait, c’est vraiment une question d’utilisation. C’est facile pour moi d’arriver aux limites de l’abonnement à 20 $ US par mois, parce que je fais beaucoup de programmation. Quelqu’un d’autre pourrait très bien s’en sortir avec ça. Si ça t’arrive de bloquer à cause des limites, upgrade. Si tu te rends aux limites du plus gros, ça vaut la peine de t’autoévaluer et d’optimiser ton utilisation.
Ce que je fais maintenant
- Opus d’abord. Je reste sur Opus. Dès que je vois que j’arrive proche de la limite, j’optimise avec Sonnet, rarement Haiku.
- Dans le doute, Opus. Une tâche ratée à reprendre me coûte plus que les quelques dollars sauvés. Peu importe, Tom Brady est capable de tout faire.
- L’erreur que je vois. Les gens prennent le plus gros modèle au plus haut niveau d’effort sans être capables de bien communiquer leur besoin. Ça coûte cher rapidement, parce que tu tournes en rond plus souvent.
Si tu commences lundi
Prends un abonnement à ChatGPT ou à Claude, celui avec lequel tu es à l’aise. Prends le plus gros modèle, au niveau d’effort le plus haut, et donne-lui toutes les infos de ta business. Ensuite, demande-lui comment il peut t’aider. Demande-lui d’établir un plan de match assez détaillé pour le déléguer à des agents avec Sonnet et Haiku. Et voilà.
