ServiceNow en Hugging Face hebben het large language model StarCoder aangekondigd. Het nieuwe LLM moet helpen bij het genereren van code. Het is open-access, open-science, open-governance en maakt generatieve AI transparanter en toegankelijker, stellen de bedrijven.
De nieuwe release wordt aangeprezen als “een van ’s werelds meest verantwoord ontwikkelde en sterkst presterende” LLM’s die kunnen worden gebruikt om code te genereren. Het open-governance platform beschikt over 15 miljard parameters, aldus de bedrijven, en is ontworpen om generatieve AI “transparanter en toegankelijker te maken om verantwoorde innovatie op schaal mogelijk te maken”.
Introductie van het BigCode-project
De nieuwe LLM maakt deel uit van het BigCode Project, een initiatief om state-of-the-art AI-systemen voor code “open en verantwoord” en met de steun van de open-wetenschappelijke AI-onderzoeksgemeenschap te ontwikkelen.
ServiceNow Research en Hugging Face lanceerden het gezamenlijke BigCode Project in september 2022. Het project blijft opereren als een open wetenschappelijke samenwerking. De twee bedrijven proberen “de collectieve denkkracht en middelen van de open-sourcegemeenschap te benutten” via BigCode-werkgroepen, taakgroepen en meetups.
StarCoder wordt getraind met een triljoen tokens van permissief gelicentieerde broncode voor meer dan 80 programmeertalen uit BigCode’s The Stack v1.2 dataset, aldus de bedrijven. De LLM kan worden ingezet om pair-programming, zoals generatieve AI, naar toepassingen te brengen met mogelijkheden als text-to-code en text-to-workflow.
Bevordering van “verantwoorde innovatie” in AI
Harm de Vries, leider van het Large Language Model Lab bij ServiceNow Research en co-leider van BigCode, prees de nieuwe LLM. “Nieuwe, verantwoorde AI-praktijken om grote taalmodellen te trainen en te delen zijn van vitaal belang om de juiste protocollen, waarborgen en permissieve licenties voor onze klanten te garanderen, en StarCoder maakt dit mogelijk”, zei hij.
Leandro von Werra, machine learning engineer bij Hugging Face en een andere co-leider van BigCode, sloot zich aan bij de Vries. “Deze inspanning is een bewijs van het potentieel van open-source als we werken aan de democratisering van AI”, zei hij.