Nvidia is druk bezig met de overname van de jonge cloud-startup Lepton AI. Dit zou de tweede overname binnen korte tijd zijn, na de recente acquisitie van de synthetische dataspecialist Gretel Labs.
De mogelijke overname van Lepton AI door Nvidia zou zich al in een vergevorderd stadium bevinden, schrijft The Information op basis van bronnen. Het is niet bekend wat het overnamebedrag is, maar dit wordt geschat op enkele honderden miljoenen dollars.
Lepton AI haalde bij de start van zijn activiteiten in 2023 een seedbedrag van 11 miljoen dollar op.
Trainen en inference
Lepton AI, opgericht door voormalige onderzoekers van Meta’s AI Lab en onder meer de makers van PyTorch, biedt een cloudplatform voor het optimaliseren van AI-workloads. Dit platform helpt gebruikers zowel bij het trainen van LLM’s als bij het uitvoeren van inference.
De startup maakt dit mogelijk via een visuele interface waarmee clusters in de cloudomgeving kunnen worden opgezet. Met behulp van een selectie van verschillende Nvidia GPU’s kunnen gebruikers daarnaast meerdere LLM’s parallel trainen. Hiervoor biedt een tool de mogelijkheid om centraal de benodigde hardware voor elk afzonderlijk project te beheren.
Het cloudplatform van Lepton AI maakt het ook mogelijk om fouten te detecteren die tijdens het trainen ontstaan en van invloed zijn op de output. De verwerkingssnelheid van het cloudplatform ligt volgens de AI-specialist op meer dan 600 tokens per seconde, met een latency van minder dan 10 milliseconden. Een autoscale-functionaliteit voegt automatisch meer hardware toe aan de inference-omgevingen van klanten wanneer de vraag toeneemt.
De inference-functionaliteit van het cloudplatform maakt gebruik van open-source tooling zoals vLLM. Hiermee worden gelijksoortige LLM-prompts in een enkel verzoek samengevoegd, wat de benodigde rekenkracht voor LLM’s verlaagt. Ontwikkelaars kunnen de vLLM-tooling verder inzetten om het geheugengebruik te reduceren.
Geen duidelijke plannen Nvidia
Het is nog niet duidelijk waarvoor Nvidia het platform en de technologie van Lepton AI precies wil gebruiken. Misschien vanwege de machine learning-expertise, maar mogelijk ook om de producten van de startup te blijven aanbieden.
Het cloudplatform van Lepton AI heeft al een aantal concurrenten die vergelijkbare technologie leveren, zoals AI-cloudaanbieder CoreWeave, die vandaag naar de beurs gaat.
De mogelijke overname van Lepton AI volgt op de recente acquisitie van Gretel Labs door Nvidia. Deze overname, die waarschijnlijk meer dan 320 miljoen dollar kostte, geeft de AI- en chipgigant tools voor synthetische data ten behoeve van het trainen van LLM’s.
Lees ook: Synthetische data en het gevaar van ‘model collapse’