Zelflerend algoritme herkent onkruid steeds beter

NOS-reportage deze zomer, in het zuiden van Flevoland wordt een dag voor de oogst een vol gewas biologische peterselie met handwerk ontdaan van onkruid zoals varkensgras, door personeel op een ligbed. De reportage gaat over in hoeverre de veldrobot al in staat is om deze onaangename en arbeidsintensieve (dure) klus over te nemen.

Directeur Jacco Burgers van landbouwbedrijf ERF vertelt over wanneer hij denkt dat hier een robot voor in de plaats rijdt. Volgend jaar? Dat lijkt hem wat snel. Over 2 jaar dan? Daarop wil Burgers wel een aarzelend ‘ja’ laten horen, maar duidelijk is dat hem ook dat aan de vroege kant lijkt.

Het is ook niet niks wat van een dergelijke robot wordt verlangd: onkruid herkennen tussen het oogstrijpe bladgewas en het vervolgens bij de wortel afsnijden of uit de grond trekken. Los nog van het mechaniek om dat perfect te doen.

Focus op onkruid

De rijdende robot geniet volop belangstelling vanuit de open teelten. In bioteelten kan hij schaarse seizoenskrachten vervangen. Elders kan de robot een rol spelen in de minimalisering van het gewasbeschermingsmiddelengebruik en op den duur als rooi- of transportvoertuigje een rol spelen in de minimalisering van de bodemdruk, om zo een bijdrage te leveren aan het behoud van een productieve bodem. Voorlopig ligt de focus vooral bij de aanpak van onkruid, mechanisch of chemisch. Daarvoor is het nodig dat camera’s op het voertuigje feilloos kunnen benoemen wat ze aan planten voorbij zien komen en of ze die moeten omhakken of bespuiten, of juist moeten laten staan. En dat is nog niet zo gemakkelijk.

Lees onderaan dit artikel het interview met Thijs Ruigrok: ‘Over 5 jaar moeten robots het veld in kunnen’

Project Smaragd

Thijs Ruigrok is als promovendus verbonden aan het project Smaragd van Wageningen University & Research in samenwerking met het bedrijfsleven. Smaragd staat voor Slimme Mechanisatie, Automatisering, Robotisering voor een Akkerbouw met Groei en Duurzaamheid. Binnen dit project neemt Ruigrok de onkruid- en gewasherkenning voor zijn rekening. Het gaat om het ontwikkelen van een flexibel en robuust herkenningssysteem dat buiten in het veld gewasplanten en onkruiden kan herkennen. De grootste uitdaging van een dergelijk systeem is het omgaan met alle variatie die het tegen kan komen. Denk bijvoorbeeld aan variatie in ras of groeistadium, maar ook aan variatie in lichtomstandigheden, zoals bewolkt weer of juist felle zon.

Ruigrok wil graag gezegd hebben dat de ontwikkeling van plantherkenning geen vrijblijvende theoretische Wageningse exercitie is, maar dat het bedrijfsleven er bovenop zit. Partners als Agrifac, Agrifirm Plant, Agrointelli, Bayer, Multi Tool Trac, Steverink techniek, Rabobank en LTO Noord werken actief mee aan het opzetten van veldonderzoek en het opzetten van prototypes. Ze betalen ook mee aan het onderzoek.

_{Lees verder onder de foto.}

De veldrobot AgroIntelli Robotti speelt een belangrijke rol in de ontwikkeling van een zelflerend onkruidherkenningsalgoritme. Door in verschillende groeistadia met camera’s gewas en onkruid te detecteren en benoemen, wordt het algoritme steeds slimmer en dus steeds bruikbaarder om zonder veel missers onkruid plaatsspecifiek te bestrijden. – Foto: Koos Groenewold

‘Dit is een biet’

Bij het Smaragd-project wordt gebruik gemaakt van recente ontwikkelingen op het gebied van zelf lerende deep-learningalgoritmes. Zo’n deep-learningalgoritme werkt als volgt: je begint met een blanco algoritme, een model dat niks weet, en traint het aan de hand van voorbeelden. Je laat het een (plaatje van een) biet zien en zegt: dit is een biet.

Als dan vervolgens een aardappelplant wordt getoond, zonder verdere instructie dan zal het algoritme zeggen: biet. Maar als erbij wordt gezegd dat het een aardappelplant is dan leert het algoritme dat niet alles wat groen is, een biet is. Het kan ook een aardappelplant zijn. Zo kun je het algoritme verfijnen door het alsmaar nieuwe plaatjes van bieten en aardappelen te tonen. Na het vertonen van duizenden of liever tienduizenden voorbeelden, leert het algoritme bepaalde eigenschappen van de plant te herkennen. Het algoritme leert aan de hand van de voorbeeldfoto’s zelf op welke eigenschappen het moet letten. Zo kan het algoritme bijvoorbeeld de kleur en de vorm van een bietenplant leren herkennen. Vandaar dat we zo’n algoritme ‘zelflerend’ noemen. “Op welke eigenschappen het algoritme precies let, is niet bekend, dat is de grote black box”, zegt Ruigrok. “Het doet er feitelijk ook niet toe.”

Zelflerend

Deze manier van leren komt min of meer overeen met hoe mensen (kinderen) dingen leren onderscheiden. Je laat een peuter een auto zien en zegt ‘auto’. En dan nog een auto en nog een en nog een. Zit er dan een tractor tussen, dan zal het kind waarschijnlijk opnieuw ‘auto’ zeggen. Nee, zeg je dan, dat is een tractor. En zo ga je maar door. Zonder precies de criteria te benoemen, leert het kind op den duur feilloos een auto van een tractor te onderscheiden. Ook in nieuwe situaties met trekkers en auto’s die het kind niet eerder zag. Zo zijn kind en algoritme zelflerend.

_{Lees verder onder de foto.}

Een zelflerend systeem wordt ‘getraind ‘ door het veel plaatjes te tonen en te vertellen wat wat is (hier suikerbiet en aardappelopslagplant). Op een gegeven moment kan het algoritme zonder verdere toelichting met nieuwe beelden overweg. Daarom wordt wel gesproken van kunstmatige intelligentie. – Afbeelding: WUR

Foutloos nog niet makkelijk

Maar om terug te gaan naar de machines, het blijkt in de praktijk nog niet zo makkelijk om foutloos aardappelen van suikerbieten te onderscheiden; Ruigrok is er nog niet. Dit werd kortgeleden bevestigd bij een veldtest/demonstratie van het autonoom bestrijden van aardappelopslag. Ruigrok had het algoritme getraind op foto’s van aardappelopslag en bieten vroeg in het seizoen. In eerste instantie werkte het systeem boven verwachting goed. Alle aardappelen werden doodgespoten en slechts een enkele biet werd geraakt. In hetzelfde veld ging het een week later minder goed. De bieten waren gegroeid, en de aardappelplanten waren al half dood door de vorige bespuiting. Het algoritme had nog nooit zulke grote bieten en doodgespoten aardappelplanten gezien. Dit had als gevolg dat enkele bieten werden bespoten en een aantal aardappelplanten over het hoofd werden gezien.

Invloed weer

Dit probleem is makkelijk op te lossen door nieuwe voorbeelden te verzamelen van grote bieten en half dode aardappelen. Op basis van deze voorbeelden kan het systeem opnieuw getraind worden voor deze nieuwe situatie. Eigenlijk moet je voor alle situaties die je in het veld tegen kan komen een aantal voorbeelden beschikbaar hebben. Je kan je voorstellen dat variatie in ras, groeistadia en grondsoort een grote invloed heeft op hoe de plant eruit ziet en dan hebben we het nog niet eens gehad over de invloed van het weer, zoals droge en natte jaren. Er moeten dus nog heel veel voorbeelden verzameld worden voor het systeem genoeg geleerd heeft.

Voor het herkennen van aardappelopslag in suikerbieten is dit misschien nog te doen. Maar als we in de toekomst ook meerdere gewassen en meerdere soorten onkruiden willen herkennen, wordt het een grotere uitdaging. Zeker in het kiemstadium, wanneer onkruid het best te bestrijden is, wordt het lastig om onderscheid te maken.

Zelf kiemplanten herkennen

Om het systeem op te schalen naar meerdere gewassen en onkruiden wordt bij Smaragd gewerkt aan een systeem dat zelf nieuwe voorbeelden kan verzamelen, en zodoende zichzelf kan bijleren, en kan aanpassen aan nieuwe omstandigheden. Dit zelflerende systeem bestaat uit een camerasysteem dat meerdere keren in het groeiseizoen over het veld rijdt. Alle plantjes worden vanaf het allereerste begin gedetecteerd en in kaart gebracht. Wanneer een plant op een gegeven moment als biet wordt herkend, dan betekent dat dus dat het kiemplantje op die plek ook een biet was. En wanneer het herkenningssysteem naar verloop van tijd een distel detecteert, betekent dat dat het kiemplantje op die plek er eentje van een distel was. Nu ‘weet’ het algoritme hoe een kiemplantje van een biet en dat van een distel eruit zien. Op deze manier kan het systeem zelf verschillende groeistadia en omstandigheden bijleren en betrouwbaarder worden.

Bij Smaragd heeft men vertrouwen in de technologie. “Wat met het menselijk oog is te onderscheiden, is dat uiteindelijk met de machine ook”, klinkt het daar. Thijs Ruigrok: “Zeker is het best lastig de ene kiemplant van de andere te onderscheiden. Maar zo’n zelflerend systeem kan hier uiteindelijk ook mee overweg. Het is een grote uitdaging, maar we hopen over 2 jaar dit systeem af te hebben.”

‘Over 5 jaar moeten ze het veld in kunnen’ Thijs Ruigrok (25) werkt bij Wageningen University & Research als promovendus aan de ontwikkeling van zelflerende software voor het herkennen van onkruid met camera‘s. Ruigrok verwacht over 2 jaar een zelflerend systeem klaar te hebben dat werkt. “Voordat zoiets in de praktijk aan het werk kan, duurt dan misschien nog een paar jaar. Maar er zal voldoende basis zijn voor het bedrijfsleven om zelflerende systemen voor onkruidherkenning te perfectioneren en in de markt te zetten.” Lees verder onder de foto. Thijs Ruigrok: “Over een paar jaar is er voldoende basis voor het bedrijfsleven om zelflerende systemen voor onkruidherkenning te perfectioneren en in de markt te zetten.” – Foto: Koos Groenewold Aardappelopslagbestrijding in suikerbieten Ruigrok: “Het duurt nog zeker 5 jaar voordat een zelflerende onkruidrobot in meerdere gewassen meerdere onkruiden kan bestrijden, maar ik verwacht dat er op korte termijn wel al gespecialiseerde machines op de markt komen. Denk bijvoorbeeld aan aardappelopslagbestrijding in suikerbieten of ridderzuring in grasland. Zo is meer te bedenken. Wellicht ook voor onkruid in een vol gewas peterselie. Ik ben ervan overtuigd dat via deep-learningalgoritmes robuuste, goed werkende plantherkenningssystemen gaan ontstaan die op termijn breed in te zetten zijn voor onder meer onkruidbestrijding, plaatsspecifieke bemesting en uiteindelijk ook voor ziekteherkenning en selectiewerk.”