Learning deep

Bij deep learning komen verschillende begrippen rond leren samen. Sommige beschrijven welke voorbeelden beschikbaar zijn, andere zeggen iets over de opbouw van het model of de manier waarop bestaande kennis wordt hergebruikt. Wie die begrippen uit elkaar houdt, kan een project beter begrijpen. Je hoeft daarvoor niet meteen ingewikkelde wiskunde te beheersen; een paar concrete situaties maken de verschillen al veel duidelijker.

Deep learning beschrijft een benadering

Deep learning gebruikt neurale netwerken met meerdere verwerkingslagen. Tijdens het trainen worden instellingen aangepast op basis van een gekozen leerdoel. De precieze taak kan sterk verschillen: een afbeelding indelen, tekst verwerken of een andere relatie modelleren. De term zegt dus niet op zichzelf welke gegevens beschikbaar zijn of hoe de kwaliteit van het resultaat wordt vastgesteld.

Vergelijk het met het kiezen van gereedschap voor een opdracht. Het gereedschap bepaalt mogelijkheden, maar vertelt niet wat je ermee wilt bouwen. Ook bij deep learning moet eerst duidelijk zijn welke invoer wordt gebruikt en welke uitkomst gewenst is. Zonder die afbakening blijft een bespreking van modeltypen al snel losstaan van de praktische vraag.

Leren met bekende antwoorden

Bij supervised learning bevatten voorbeelden een gewenste uitkomst. Een afbeelding kan bijvoorbeeld een label krijgen dat aangeeft welk voorwerp erop staat. Het trainen richt zich op het verband tussen de invoer en zulke antwoorden. De kwaliteit van de labels is daarbij belangrijk. Onduidelijke of tegenstrijdige voorbeelden maken het moeilijker om een bruikbare taak te leren en eerlijk te beoordelen.

Maak daarom afspraken over de betekenis van een label. Als twee mensen dezelfde afbeelding verschillend beoordelen, moet duidelijk worden waarom. Misschien is de categorie te breed of bevat de afbeelding meerdere relevante objecten. Door zulke vragen vroeg te bespreken, voorkom je dat onzekerheid in de gegevens later wordt voorgesteld als een onverklaarbare fout van het model.

Patronen zonder vooraf ingevuld antwoord

Bij unsupervised learning ligt niet voor ieder voorbeeld een doelantwoord klaar. Een onderzoek kan bijvoorbeeld zoeken naar groepen met vergelijkbare kenmerken. De gevonden indeling is dan een uitkomst die nog geïnterpreteerd moet worden. Een groep in de gegevens is niet automatisch een betekenisvolle categorie voor het werk waarvoor de analyse is bedoeld.

Bekijk daarom welke eigenschappen een groepering bepalen en of die aansluiten bij de onderzoeksvraag. Misschien worden documenten vooral op lengte gescheiden, terwijl je onderwerpen wilde vergelijken. Zo’n resultaat kan technisch verklaarbaar zijn en toch weinig helpen. Menselijke beoordeling blijft nodig om te bepalen wat een gevonden structuur in de betreffende context betekent.

Voorbeelden op verschillende manieren benutten

Bij semi-supervised learning wordt gewerkt met zowel gelabelde als ongelabelde voorbeelden. De gedachte is dat meer materiaal kan helpen wanneer bekende antwoorden beperkt beschikbaar zijn. Dat levert niet in iedere situatie verbetering op. De relatie tussen de verschillende voorbeelden en de gekozen methode blijft belangrijk, net als een onafhankelijke beoordeling van het resultaat.

Self-supervised learning gebruikt een leeropdracht die uit de gegevens zelf wordt afgeleid. Denk aan het voorspellen van een weggelaten deel op basis van de rest. Dat is iets anders dan een mens ieder voorbeeld een inhoudelijk label laten geven. De gekozen oefentaak bepaalt welke patronen worden aangeleerd en hoe die later mogelijk voor een andere taak bruikbaar worden.

Bestaande modellen als vertrekpunt

Bij transfer learning wordt voortgebouwd op een model dat eerder iets heeft geleerd. Dat kan een praktisch vertrekpunt zijn wanneer de nieuwe taak verwant is aan de eerdere training. Het betekent niet dat de nieuwe toepassing zonder beoordeling klaar is. De eigen gegevens, gewenste uitkomst en omstandigheden kunnen immers afwijken van wat het model eerder heeft gezien.

Test daarom met voorbeelden uit de beoogde toepassing. Bekijk niet alleen gewone gevallen, maar ook situaties waarin belangrijke details anders zijn. Leg vast welke onderdelen zijn aangepast en welke gelijk bleven. Zo kun je het resultaat verklaren en later beoordelen of een andere keuze daadwerkelijk beter past bij de nieuwe taak.

Kies vanuit de gegevens en het doel

De verschillende leervormen zijn geen ladder waarbij iedere volgende term automatisch geavanceerder of beter is. Ze beschrijven andere uitgangspunten en mogelijkheden. Begin met de vraag welke voorbeelden je hebt, welk antwoord je zoekt en hoe je dat antwoord controleert. Dan wordt deep learning een gerichte technische keuze binnen een begrijpelijk onderzoek, in plaats van een verzameling termen die vooral indrukwekkend klinken.

Sergej Dergatsjev, eigenaar van Online Solutions Group, heeft CompanyGids nieuw leven ingeblazen en het platform verder uitgebouwd tot een moderne bedrijvengids voor België. Bezoek Company Gids en Online Solutions Group.