OpenAI heeft de functionaliteit van zijn ChatGPT generatieve AI-tool verder uitgebreid. Nu is het ook mogelijk gesproken conversaties met de chatbot te voeren en beelden up te loaden om daarover meer te weten te komen. Vooralsnog alleen voor de betaalde versies ChatGPT Plus en ChatGPT Enterprise.
Gebruikers van ChatGPT kunnen vanaf nu conversaties met de generatieve AI-chatbot voeren met normale gesprekken. De nu geïntegreerde technologie maakt het mogelijk dat een gesproken vraag wordt opgepikt en vertaald zodat ChatGPT begrijpt wat er wordt gezegd.
De nieuwe functionaliteit wordt gegenereerd door een nieuw tekst-to-speech-model dat menselijke audio maakt van tekst en een klein spraakvoorbeeld. Daarnaast gebuikt de functionaliteit het OpenAI open-source AI-model Whisper om gesproken woorden in tekst om te zetten.
De antwoorden worden gegeven door een keuze uit vijf verschillende stemmen, zowel vrouwelijk als mannelijk. Hiervoor is samengewerkt met stemacteurs.
Nieuwe beeldfunctionaliteit
Naast stemfunctionaliteit, heeft ChatGPT ook nieuwe beeldfunctionaliteit gekregen. Hiermee is het mogelijk een foto up te loaden en de generatieve chatbot vragen waar precies naar wordt gekeken. Daarna kunnen zij met de chattool hierover converseren om bijvoorbeeld een probleem op te lossen, meer informatie over iets te krijgen of de weg te vinden naar een afgelegen plek.
Een voorbeeld hiervan is een foto van de inhoud van een ijskast en hiermee ChatGPT te vragen een maaltijd uit samen te stellen. Of instructies voor het uitvoeren van een (kleine) reparatie.
Privacybeperkingen
OpenAI geeft wel aan dat de nieuw technologie van grote impact kan zijn op onder meer privacy. Daarvoor is de chat tool inmiddels beperkt voor het analyseren en het geven van directe verklaringen over personen.
Bijvoorbeeld over personen waarover het AI-model meer informatie heeft. ChatGPT heeft volgens OpenAI last van hallucinaties en de beperkingen moeten daarom de privacy van personen beschermen.
Beschikbaarheid en verdere plannen
De nieuwe voice- en beeldfunctionaliteit komt de komende weken beschikbaar voor gebruikers van de betaalde versies ChatGPT Plus en Enterprise. Ook komt de technologie beschikbaar in de iOS- en Android-apps.
Daarnaast geeft OpenAI aan met Spotify samen te werken aan een nieuwe Voice Translation-functie voor het audiostreamingplatform. Hierbij wordt het nieuwe AI-gebaseerde voice-model van OpenAI gebruikt om podcasts te kunnen vertalen. Podcastmakers kunnen hierdoor makkelijk met hun eigen stem het bereik van hun podcasts uitbreiden naar andere landen.