Meta lance un outil appelé Code Llama, construit sur son modèle de langage Llama 2, pour générer du nouveau code et déboguer le travail écrit par l'homme. Code Llama utilise la même licence communautaire que Llama 2 et est gratuit pour la recherche et l'utilisation commerciale.
Code Llama peut compléter des parties de code et aider à déboguer des programmes. En plus du modèle de base Code Llama, Meta lance une version spécialisée dans Python appelée Code Llama-Python et une autre version appelée Code Llama-Instrct, qui peut comprendre les instructions en langage naturel. Selon Meta, chaque version spécifique de Code Llama n'est pas interchangeable et la société ne recommande pas la base Code Llama ou Code Llama-Python pour les instructions en langage naturel.
Meta affirme que Code Llama a obtenu de meilleurs résultats que les LLM accessibles au public sur la base de tests de référence, mais n'a pas spécifiquement nommé les modèles sur lesquels il a été testé. Meta publiera trois tailles de Code Llama et a déclaré que sa plus petite taille s'adapte à un seul GPU pour des projets à faible latence.
Les générateurs de code aident les développeurs à travailler depuis un certain temps déjà. GitHub a lancé Copilot en mars, alimenté par GPT-4 d'OpenAI, pour écrire et vérifier rapidement du code. Copilot de GitHub peut également réécrire de l'ancien code pour le mettre à jour. AWS d'Amazon dispose également de CodeWhisperer, qui écrit, vérifie et met également à jour le code. Google dispose également d’un outil d’écriture de code dans AlphaCode, mais il n’est pas encore disponible.