Tekstanalyse van reviews met kunstmatige intelligentie van Microsoft werkt verbluffend goed

Zojuist heb ik de tekstanalyse op basis van kunstmatige intelligentie van Microsoft Azure Cognitive Services losgelaten op de laatste 1.000 ervaringen die op ISPGids.com zijn geplaatst. Het werkt in de praktijk daadwerkelijk net zo simpel als ik gisteren al schreef. Er is alleen een enkele HTTP POST request nodig waarmee tot 1.000 stukken tekst in één keer kunnen worden geanalyseerd.

Het werkt ook nog eens razendsnel. Ik heb de tekstanalyses in batches van 100 ervaringen per keer laten uitvoeren. Ik kon amper met mijn ogen knipperen en de analyse was al uitgevoerd inclusief het aan mijn eigen kant opslaan van de resultaten in de database. Technisch gezien werkt de Tekstanalyse-API echt perfect.

Inhoudelijk zijn de resultaten van de tekstanalyse ook interessant. Op het eerste gezicht lijkt het er op dat het systeem het sentiment anders inschat dan wanneer een mens dat zou doen. Of te wel de beoordeling van de tekstanalyse op basis van kunstmatige intelligentie is positiever of juist negatiever dan die van een gemiddelde mens.

Daarom heb ik de proef op de som genomen. Ik heb een sample van 100 ervaringen gepakt waarbij de beoordeling hoger of gelijk is aan 0,6. In deze sample beoordeel ik 5 ervaringen als negatief. Vervolgens heb ik ook een sample gepakt van ervaringen met een score van 0,4 of lager. Totaal zijn er 35 ervaringen met een dergelijke score. Zelf beoordeel ik 4 van de bewuste ervaringen als wel positief.

Dit is echt een verbluffend goed score. De kunstmatige intelligentie van Microsoft Azure zit in meer dan 90% van de gevallen goed. Om nóg genuanceerder te kijken heb ik ook de 49 ervaringen die tussen de 0,41 en 0,5 scoren. Daarvan beoordeel ik er zelf 10 als positief. Ook dat is weer een verbluffend goede score dat zelfs op dit grensgebied de kunstmatige intelligentie in 80% van de gevallen een oordeel geeft waar ik mij als mens in kan vinden.

Natuurlijk is er meer onderzoek noodzakelijk om de werking van deze kunstmatige intelligentie in de praktijk te testen. Wel tonen deze resultaten aan dat het de moeite waard is om direct te implementeren. Daarnaast is het ook interessant om te zien of er nóg betere resultaten kunnen worden behaald met een zelf getraind kunstmatige intelligentie systeem dat gestandaardiseerd is op reviews met ict-bedrijven.