NVIDIA, Hugging Face ve ServiceNow tarafından performans, şeffaflık ve maliyet etkinliği için yeni standartlar sunan ve kod oluşturmayı amaçlayan StarCoder2 adlı bir büyük dil modeli (LLM) ailesi yayınlandı. Model ailesi, ServiceNow tarafından eğitilen 3 milyar parametreli bir modeli, Hugging Face tarafından eğitilen 7 milyar parametreli bir modeli ve NVIDIA tarafından eğitilen 15 milyar parametreli bir modeli içeriyor.
StarCoder2, 619 programlama konusunda eğitim almış durumda ve kaynak kodu oluşturma, iş akışı oluşturma, metin özetleme ile daha fazlası gibi özel görevleri gerçekleştirebilecek nitelikte NVIDIA, geliştiricilerin üretkenliği artırmak için bunu kod tamamlama, gelişmiş kod özetleme, kod parçacıkları alma ve daha fazlası için kullanabileceğini söyledi.
Orijinal StarCoder LLM’lere göre iyileştirmeler açısından NVIDIA, yeni 3 milyar parametreli modelin, orijinal StarCoder 15 milyar parametreli modelin performansıyla eşleştiğini söyledi. Bu, Stack v1’den yedi kat daha büyük olan Stack v2 adı verilen yeni bir kod veri kümesi kullanılarak başarıldı. Yeni eğitim teknikleri aynı zamanda modelin COBOL gibi düşük kaynaklı programlama dillerini, matematik ve program kaynak kodu tartışmalarını daha iyi anlayabileceği anlamına da geliyor.
StarCoder2, telifsiz erişime ve kullanıma izin veren BigCode Open RAIL-M lisansı altında kullanıma sunuluyor. Kaynak kodu BigCode projesinin GitHub sayfasında mevcut olup modeller Hugging Face’ten indirilebilir durumda.
