Fruittelers controleren voortdurend de gewassen en optimaliseren hun beheer om zoveel mogelijk vruchten van hoge kwaliteit te produceren. Maar hoeveel informatie kan een fruitteler verkrijgen via handmatige inspectie? En als dat via steekproeven gebeurt, is die informatie dan volledig en representatief voor de hele boomgaard? Om het gewasbeheer en de fruitproductie te verbeteren, moeten we voor elke boom over gedetailleerde informatie beschikken waarop het beheer kan worden gestuurd. Om te beginnen willen we weten hoeveel vruchten elke boom produceert. Het is echter niet haalbaar om de vruchten van elke boom alleen met menselijke inspanning te tellen.
Om de hoeveelheid vruchten van duizenden individuele bomen in een boomgaard te schatten, ontwikkelde Maria Culman een op deep learning gebaseerd algoritme voor het automatisch tellen van vruchten op zijdelings in de boomgaarden genomen foto's. In deze blog legt Maria uit hoe zij deep learning-algoritmen heeft gebruikt om het gewasbeheer van fruittelers te ondersteunen.
Toegepaste deep learning voor fruitdetectie in boomgaarden
Visuele inspectie is nog steeds de meest gebruikelijke aanpak om vruchten te tellen en zo een indicatie te krijgen van de verwachte opbrengst. Dit is een zware taak die de telers ertoe dwingt slechts bij een beperkt aantal bomen in de hele boomgaard vruchten te tellen en deze resultaten te extrapoleren. Op die manier hebben de telers geen duidelijk en volledig beeld van de conditie van de boomgaard en twijfelen zij aan de opbrengstramingen. Ze missen dus de kans om te begrijpen hoe en waarom hun opbrengsten ruimtelijk variëren binnen de boomgaarden.
Deep learning (DL), een deelgebied van machine learning waarbij algoritmen worden gemodelleerd om menselijke rationale te imiteren, is recentelijk opgedoken met veelbelovende oplossingen. Toch is er een gebrek aan toepasbaarheid bij de toepassing van deze algoritmen op de landbouw, omdat er een massale voorbereiding van de gegevens moet plaatsvinden voordat DL-oplossingen kunnen worden onderzocht.
Toegepaste deep learning begint met voldoende trainingsgegevens
Twee keerpunten in het technologietijdperk verklaren het huidige succes van deep learning: een steeds grotere rekencapaciteit en de beschikbaarheid van gegevens. Een gemeenschappelijk nadeel is echter de grote verscheidenheid aan milieuomstandigheden die eigen zijn aan landbouwtoepassingen, zoals variabele lichtomstandigheden, fenologie of achtergronden, die een uitdaging vormen voor deep learning-methoden. Deze variabele omstandigheden hebben ernstige gevolgen voor de bruikbaarheid van dergelijke nieuwe bewakingsinstrumenten. Dit kan grotendeels worden ondervangen door veel beelden en labels te verzamelen, inclusief al deze omstandigheden.
Het labelen van gegevens is echter een arbeidsintensieve en tijdrovende taak waarvoor deskundige kennis nodig is. Daarom is de belangrijkste uitdaging bij het creëren van een operationele workflow met behulp van deep learning in een agrarische omgeving het verkrijgen van een goede trainingsdataset met slechts een kleine hoeveelheid gelabelde gegevens.
De magie achter het maken van grote gelabelde datasets
In onze zoektocht naar een geautomatiseerd algoritme voor de detectie van fruit in perenboomgaarden hadden we toegang tot duizenden beelden zonder enige annotatie. Met behulp van de nieuwste ontwikkelingen op het gebied van self-supervised deep learning hebben we dus een automatische labelprocedure ontwikkeld die bestaat uit twee stappen: een algoritme voor het ontdekken van objecten en een objectclassificator, waarmee we duizenden beelden konden annoteren met minimale menselijke tussenkomst.
- Het algoritme voor objectontdekking maakt gebruik van de segmentatiemaskers die voortkomen uit feature extractors (d.w.z. Vision Transformers) getraind onder een zelfgesuperviseerde leeraanpak om objecten op de voorgrond te lokaliseren. Deze feature extractors zijn openlijk beschikbaar. Belangrijker nog, ze zijn voorgetraind met grootschalige datasets die duizenden objectklassen bevatten, zodat we ze kunnen gebruiken om de vruchten van de beelden van de boomgaarden te ontdekken zonder labels nodig te hebben.
- De objectclassificator maakt gebruik van de beeldclassificatiecapaciteit van een andere openlijk beschikbare voorgetrainde kenmerkextractor, zodat we die zeer snel kunnen gebruiken. De classificator werd verfijnd op een gecontroleerde manier, zodat wij voor deze stap op veel kleinere schaal (< 2500 annotaties)
Na minder dan een dag uitvoering was het resultaat van de automatische labelprocedure een gelabelde dataset met meer dan 100k annotaties, verkregen uit meer dan 40k beelden. Ter vergelijking: in een werkdag van 8 uur konden wij gemiddeld 500 beelden handmatig annoteren. Met de automatische labelprocedure creëerden wij een uitgebreide trainingsdataset dankzij een kleine dataset.
Deep learning-modellen voor het opsporen van fruit in bomen
Er werd gekozen voor een tweefasige trainingsaanpak, waarbij we de deep learning-modellen eerst voortrainden met de grote gelabelde dataset en vervolgens verfijnden met de kleine dataset. Op die manier zijn we erin geslaagd deep learning-modellen te trainen die concurrerende prestaties opleverden voor de detectie van fruit in perenboomgaarden, ondanks de ontoereikende handmatige trainingsgegevens.
Naast het stroomlijnen van de toepassing van een op deep learning gebaseerde oplossing voor de detectie van fruit in bomen, kunnen de automatische labelingprocedure en de trainingsaanpak nog vele andere toepassingen dienen, aangezien de implementatie ervan domeinonafhankelijk is. Dit brengt ons een stap dichter bij de oplossing van het probleem van grote gelabelde gegevens voor toegepast deep learning, waardoor binnenkort meer onderzoekers en praktijkmensen het volledige potentieel van deze veelbelovende oplossingen zullen benutten.
Volgende stappen voor de invoering van een operationele tool in de boomgaarden
Een end-to-end geautomatiseerde oplossing voor het schatten van de fruitopbrengst kan fruittelers ondersteunen bij een betere oogst, marketing en logistieke planning. Aangezien het huidige algoritme alleen de detectietaak volbrengt, zijn verdere stappen nodig om tot een volledige oplossing te komen. Daarom zullen voor toekomstig onderzoek beelden worden vastgelegd vanaf tractorplatforms, waardoor een gedetailleerd overzicht van de hele boomgaard wordt verkregen. Bovendien zal met behulp van een objectvolgalgoritme de detectie worden omgezet in het tellen van de fruitlast. En met behulp van een objectvolumeschattingsalgoritme kan een meer gedetailleerde beschrijving van de gewasopbrengst worden verkregen door de grootte van de vruchten te berekenen. Geïnteresseerd in meer informatie? Aarzel niet om contact met ons op te nemen en ontdek hoe intelligente beeldanalyse de besluitvorming inzake gewasbeheer kan ondersteunen! De contactgegevens van Stephanie Delalieux vind je hieronder. Maria Culman kan je contacteren via LinkedIn.
