Large scale QA Generator

In 2020 heb ik voor het Shared Service Center ICT van het rijksoverheid voor mij Master afstudeerscriptie een onderzoek gedaan naar hoe het beste 400.000 jaarlijkse support tickets geclusterd kunnen worden om meer inzicht te krijgen in de verzoeken die binnenkomen en om deze data te gebruiken om de dienstverlening naar 40.000 ambtenaren te verhogen. Uit dit onderzoek is een ML systeem gekomen dat de tickets naar vraag niveau clusterd door middel van een meerlaags clustersysteem; onder andere eerst een variatie van TF-IDF van Lingo3g om hoofdclusters te identificeren, en vervolgens het toepassen van seeded LDA Topic Modelling om de QA pairs te vormen, en vervolgens het optimaliseren van de QA-pairs door middel van Reinforcement Learning. Dit is ook een onderdeel van ChatGPT dat een paar jaar na mijn thesis uitkwam. De thesis is gepubliceerd en opgenomen in een wetenschappelijk tijdschrijft en hier te vinden: http://www.gecon-conference.org/articlesgecon2020/no02_paper19.pdf.