Modellen fra 2023 er forbedret med data fra 2024. Det er muligt at rangordne sorterne i modtagelighedsgrupper på baggrund af billeder og modellen. En mobiltelefon er også velegnet til fotografering.
I et toårigt IPM-projekt bevilliget af Miljøstyrelsen i 2023 og 2024 er der udviklet en model, der ud fra billeder og kunstig intelligens (AI) kan vurdere rapssorters modtagelighed for lys bladplet. Se resultater fra 2023 i Vurdering af rapssorternes modtagelighed for lys bladplet via fototeknik.
I 2024 er modellens algoritme trænet på nye billeddata, dvs. træningsdatasættet er udvidet. Derudover er det undersøgt, om kameraet på en mobiltelefon er velegnet til at tage billeder. Projektet er udført i samarbejde med The AI Lab.
I 2020 og 2021 er det fundet, at der var en sammenhæng mellem bladangreb og senere angreb på stænglerne. Se data i Vinterrapssorternes modtagelighed for lys bladplet i 2021.
Der blev fundet en god og statistisk sikker sammenhæng mellem de to bedømmelser. Enkelte sorter afveg dog, og der var her større forskel mellem angreb på blade og stængler.
Der er forskel på rapssorternes modtagelighed for lys bladplet. Det er tidskrævende at bedømme sorternes angrebsgrad især på bladene, og bedømmelsen kan være forbundet med usikkerhed afhængig af, hvor trænet man er i at kende symptomerne. Der sker også en relativ hurtig udskiftning af sorter, så der hurtigt mangler data for de dyrkede sorters modtagelighed. Der er derfor et ønske om en hurtigere og måske også mere sikker metode.
Angrebsstyrken af lys bladplet på stænglerne blev i juli 2024 bedømt i to gentagelser i 28 sorter i forsøg 05-105-2424 løbenummer 003 efter karakterskalaen i tabel 1. Den manuelle bedømmelse i marken blev foretaget af SEGES Innovation ved at bedømme angrebet jævnt fordelt i parcellerne.
Bemærk, at der kun er mindre forskel på karaktererne 2-4, men relativ stor forskel på karakteren 7 og 8. Det er derfor mere vigtigt, at modellen kan skelne mellem karakteren 7 og 8 end mellem karakteren 2 og 4.
| Karakter | Beskrivelse af angreb | Inddeling i modtagelighedsgrupper |
|---|---|---|
| 1 | Ingen angreb | Ingen angreb |
| 2 | Spor | Meget svage angreb |
| 3 | Enkelte pletter | Meget svage angreb |
| 4 | Ca. 1 pct. dækning | Meget svage angreb |
| 5 | Ca. 5 pct. dækning | Svage angreb |
| 6 | Ca. 10 pct. dækning | Svage angreb |
| 7 | Ca. 25 pct. dækning | Kraftigere angreb |
| 8 | Ca. 50 pct. dækning | Kraftigere angreb |
| 9 | Ca. 100 pct. dækning | Hele planten angrebet |
I tabel 2 ses de bedømte angrebsgrader i 2023 og 2024. Til højre i tabellen er indgrupperingen af sorternes modtagelighed i undersøgelsen i 2020-2021 hhv. af det engelske AHDB vist.
Der forekom i 2023 og 2024 kun sporadiske angreb af Phoma (rodhalsråd) på stænglerne og ingen angreb af knoldbægersvamp mv. Modellen kan kun skelne misfarvninger på stænglerne, ikke specifikke sygdomme. Derfor er det vigtigt, at der ikke forekommer andre svampesygdomme på stænglerne.
| Sort |
Bedømt karakter i juli 2024 (gns. af to bedømmelser) |
Bedømt karakter i juli 2023 (én bedømmelse pr. sort) |
Indgruppering af modtagelighed ifølge data fra 2020-2021 undersøgelse og AHDB |
|---|---|---|---|
| HRI1810 | 7,5 | - | - |
| Croissant | 6,5 | - | - |
| PT312 | 6 | - | - |
| Cratos | 6 | - | - |
| DK Excentric | 61 | - | - |
| KWS Mikados | 6 | - | - |
| Harvard | 5,5 | - | - |
| Hodysee | 5,5 | 5 | modtagelig |
| Credo | 5 | - | - |
| DK Exbury | 5 | - | - |
| PT315 | 5 | - | |
| Drifter | 4,5 | - | - |
| V367OL | 4,5 | 2 | - |
| DK Exlevel | 4 | - | - |
| Ceos | 4 | - | - |
| PT314 | 3,5 | - | - |
| Turing | 3,5 | - | mindre modtagelig (karakter 7)2 |
| Hinsta | 3,5 | - | - |
| Anton | 3,5 | - | - |
| KWS Heikos | 3,5 | 3 | - |
| LG Adapt | 31 | - | - |
| DK Exsteel | 3 | 3 | mindre modtagelig |
| LG Academic | 3 | - | mindre modtagelig (karakter 7)2 |
| LG Adeline | 3 | - | mindre modtagelig (karakter 7)2 |
| LG Austin | 3 | - | - |
| LG Auckland | 2,5 | - | mindre modtagelig (karakter 7)2 |
| LG Armada | 2 | - | mindre modtagelig (karakter 7)2 |
| LG Aviron | 2 | 4 | mindre modtagelig |
1 Kun bedømt i én gentagelse.
2 Info fra AHDB Recommended Lists med skala 1-9 (9 = mindst modtagelig)
Se Recommended Lists for cereals and oilseeds (RL) (AHDB).
Samtidig med den manuelle bedømmelse i hele parcellen blev der taget fotos, men kun for enden af parcellerne. Ligesom i 2023 blev der taget tre billeder pr. sort; et foran parcellen og et med en skrå indfaldsvinkel fra højre og venstre. Det øger mængden af billeddata pr. parcel og reducerer graden af overlappende planter. Der blev, ligesom som i 2023, brugt en grå plade som baggrund, som blev placeret bag 5-7 planter inde i parcellen.
Se detaljer om billedtagning, kamera-setup, billedhåndtering og modelopbygning i artiklen fra 2023 Vurdering af rapssorternes modtagelighed for lys bladplet via fototeknik.
I 2024 blev der derudover taget samme slags billeder med et håndholdt kamera på en mobiltelefon (Google Pixel 7 Pro) for at afprøve et mindre professionelt og mere praktisk kamera-setup, (se billede 1).
Efter dataindsamlingen blev billederne klippet til, så områderne ved siden af og ovenfor pladen blev skåret væk. På den måde opnås en ensartet opløsning og kun stænglerne foran baggrundspladen er med på billedet.
Billede 1. Fotografering af parcel med kamera på mobiltelefon.
For at forbedre modellen fra 2023 er træningsdatasættet udvidet med billedmateriale fra 2024. I modsætning til 2023 (billede 2a) indeholder 2024 træningsdatasættet også afbildning af området under baggrundpladen (billede 2b), svarende til området med jord og ukrudt, men også de mest angrebne dele af stænglerne. Det vil sige, at i 2023 blev området under baggrundspladen ikke annoteret manuelt i billederne til træningsdatasættet, så modellen blev trænet på billeder uden nederste del, hvor der var jord og ingen baggrundsplade. Selve modelanalysen i 2023 blev dog udført på billeder, der inkluderede nederste del af stænglerne og jorden. Denne udvidelse i 2024 øger væsentligt annoteringstiden pr. billede, men forbedrer modellens nøjagtighed. Det er vigtigt, da der oftest sidder mest lys bladplet nederst på stænglerne.
Billede 2. Sammenligning af billeder til træning af modellen fra henholdsvis 2023 (a) og 2024 (b). Da mængden af lys bladplet er størst på de nederste dele af stænglerne, er det værdifuldt for modeltræningen at inkludere denne del.
I 2024 er modellen også udbygget med et såkaldt kalibreringsmodul, der gør det muligt at overføre modelestimatet (pct. lys bladplet areal) til en manuel karakter (1-9). På den måde bliver der genereret en visuel præsentation af, hvad modellen ser som lys bladplet, såsom en procentangivelse heraf og en tilhørende kalibreret karakter for mængden af lys bladplet på stænglerne (se proceduren i figur 1). Kalibreringsmodulet bruger målingerne fra alle tre billeder og laver en samlet vurdering af karakteren. Dette muliggør en vurdering af, hvor enig analysemodellen er med karakterer fra den manuelle bedømmelse.
Figur 1. Flowchart af modellens arbejdsgange; fra billedtagning til modelkarakter. Først tages tre billeder af hver parcel, som modellen analyserer for procent lys bladplet areal (røde markeringer på billederne). Derefter oversættes det til en manuel karakter vha. kalibreringsmodulet.
På grund af variation i angrebsstyrken inden for hver enkelt parcel, afspejler de tre billeder pr. parcel ikke nødvendigvis sygdomstrykket for parcellen som helhed, men derimod sygdomstrykket for enden af parcellen, hvor billederne blev taget. For at afkoble denne uoverensstemmelse, har hver parcel fået to sæt karakterer:
Analysemodellen kan derfor evalueres objektivt ift. hvad der er synligt i billederne og den manuelle billedkarakter, men også relativt til den endelige parcelkarakter, som overordnet set er den mest rigtige.
I figur 2 ses sammenhængen mellem de manuelle bedømmelser udført i marken (grøn linje) og de manuelle bedømmelser af parcelbillederne (blå linje). Det ses, at bedømmelsen i marken generelt er lavere end bedømmelserne på baggrund af billederne, med enkelte undtagelser. Det kan skyldes den varierende mængde af sygdomsangreb indenfor den enkelte parcel eller den generelle usikkerhed i en subjektiv bedømmelse.
Figur 2. Sammenligning af de gennemsnitlige karakterer givet ved bedømmelse af parceller i marken og de gennemsnitlige karakterer på baggrund af en vurdering af billeder af parcellerne.
Billede 3 og 4 viser et eksempel på en parcel med højt sygdomsangreb og analysemodellens bedømmelse af mængden af lys bladplet. På baggrund af gennemgangen af de analyserede billeder ses grundlæggende en meget god overensstemmelse mellem forekomsten af lys bladplet og modellens detektion heraf.
Figur 3. Sammenhæng mellem den manuelle sygdomskarakter og det modelestimerede areal med lys bladplet (procent stængel med angreb) for de 28 sorter bedømt i marken. A) viser sammenhængen for billeder taget med professionelt kamera. B) viser sammenhængen for billeder taget med mobiltelefon. Hvert punkt svarer til resultatet for én parcel, dvs. et gennemsnit af analyseresultatet for parcellens tre billeder. Farverne refererer til de enkelte sorter og er arrangeret efter den manuelle karakter, dvs. rød er den laveste karakter og pink er den højeste karakter.
Figur 4. Sammenhæng mellem den manuelle sygdomskarakter og det modelestimerede areal med lys bladplet (procent stængel med angreb) for de 28 sorter bedømt på billeder. A) viser sammenhængen for billeder taget med professionelt kamera. B) viser sammenhængen for billeder taget med mobiltelefon. Hvert punkt svarer til resultatet for én parcel, dvs. et gennemsnit af analyseresultatet for parcellens tre billeder. Farverne refererer til de enkelte sorter og er arrangeret efter den manuelle karakter, dvs. rød er den laveste karakter og pink er den højeste karakter.
For at se nærmere på de 54 undersøgte parceller, sammenholder figur 3 og 4 analysemodellens ikke-kalibrerede estimater for angrebsgraden med den manuelt angivne karakter baseret på henholdsvis bedømmelsen i marken (figur 3) og på billederne (figur 4).
Der ses i alle tilfælde en klar tendens til, at et højere modelestimat for mængden af lys bladplet også mødes af en højere manuel karakter. Især i parcellerne med mindre angrebsgrad ses der overlap mellem de enkelte karakterer, dvs. der er sorter, der har fået 2 eller 3 i karakter, men modelestimatet for mængden af lys bladplet er den samme for begge karakterer. Overlappet er tegn på, at de enkelte karakterer ikke umiddelbart kan separeres på baggrund af analysemodellen. Årsagen til overlappet kan f.eks. være falske detektioner af lys bladplet af modellen, men ligeledes kan subjektive karaktergivninger spille en rolle.
Da modellen ikke differentierer en plet med svag misfarvning fra en plet med kraftig misfarvning, men måler lys bladplet arealet, bliver svage misfarvninger også fortolket som lys bladplet. Det er en konsekvens af den måde, som træningsdatasættet er annoteret på. I træningsdatasættet er billeder annoteret i pixel som lys bladplet, stængel hhv. baggrund, så der er ikke en differentieret graduering af, om en pixel er ”hårdt” eller ”let” ramt af misfarvninger. Det kan være med til at gøre det sværere at adskille de laveste karakterer på samme måde som i den manuelle bedømmelse i marken.
Analysemodellen observerer generelt et lidt højere angrebsniveau af lys bladplet i billederne fra mobiltelefonen, dog ikke i større grad end, at det kan kalibreres. Derfor kan en god mobiltelefon godt bruges til billedtagning.
Sammenligning af overensstemmelsen mellem den kalibrerede analysemodels karaktergivning og tilsvarende manuelt angivne karakter ved brug af det professionelle kamera. ”Pr. billede” hentyder til den opnåede nøjagtighed, hvis billederne analyseres og karaktergives individuelt. ”Pr. parcel” hentyder til en samlet estimeret karakter på baggrund af de tre billeder for hver parcel.
| Professionelt kamera | Sandsynlighed for præcist karakterestimat | Sandsynlighed for karakterestimat ± 1 | ||
|---|---|---|---|---|
| Pr. billede | Pr. parcel | Pr. billede | Pr. parcel | |
| Manuel karakter fra billede | 57,4 % | 55,5 % | 96,3 % | 98,1 % |
| Manuel karakter fra marken | 41,4 % | 42,6 % | 79,6 % | 77,8 % |
Sammenligning af overensstemmelsen mellem den kalibrerede analysemodels karaktergivning og tilsvarende manuelt angivne karakter ved brug af mobiltelefonen. ”Pr. billede” hentyder til den opnåede nøjagtighed, hvis billederne analyseres og karaktergives individuelt. ”Pr. parcel” hentyder til en samlet estimeret karakter på baggrund af de tre billeder for hver parcel.
| Mobiltelefon | Sandsynlighed for præcist karakterestimat | Sandsynlighed for karakterestimat ± 1 | ||
|---|---|---|---|---|
| Pr. billede | Pr. parcel | Pr. billede | Pr. parcel | |
| Manuel karakter fra billede | 55,5 % | 59,3 % | 95,7 % | 96,3 % |
| Manuel karakter fra marken | 43,2 % | 48,1 % | 82,1 % | 81,5 % |
Selvom tabel 3 og 4 giver et fint overbliksbillede af nøjagtigheden for metoden, beskriver de ikke i hvor høj grad analysemodellen afviger fra de manuelle karaktergivninger, når der er uoverensstemmelser. Det er relevant at vide, hvor stor afvigelsen er, målt i trin på karakterskalaen, og hvor usikkerheden er størst. Den information findes typisk i en såkaldt confusion matrix som ses i figur 5. En confusion matrix evaluerer og visualiserer ydeevnen af en algoritme, således giver den en oversigt over, hvor god modellen er til at klassificere data i de forskellige kategorier.
Figuren viser de fire confusion matricer for kombinationerne af henholdsvis kamerasystem (professionelt og mobilkamera) og typen af karaktergivning (i marken og på billeder). Diagonalen fra øverste venstre hjørne til nederste højre hjørne repræsenterer en perfekt overensstemmelse mellem analysemodellen og den manuelt angivne karakter.
I figur 5B ses det f.eks., at 85 procent af parcellerne med karakteren 4 (manuel bedømmelse via billeder) også har fået karakteren 4 af analysemodellen. De sidste 15 procent har fået karakteren 5 af modellen. Tilsvarende ses det, at de parceller, hvor modellen har givet karakteren 7, ligger fint fordelt mellem de manuelt bedømte karakterer fra 6-8. Således kan modellen godt have et relativt bredt spænd i karakterestimatet ift. den manuelle karakter og omvendt. Årsagen til karakterspændet findes i de konkrete målinger af lys bladplet i parcellerne, hvor mængden af det detekterede lys bladplet areal ikke alene kan forklare de manuelt bestemte karakterer.
Figur 5. Såkaldte confusion matricer, der afspejler analysemodellens nøjagtighed og faldgruber. A) og B) relaterer til den modelestimerede karakter fra analysen af billeder af professionelt kamera ift. manuel karakter fra hhv. mark og billeder. C) og D) relaterer til den modelestimerede karakter fra analysen af billeder fra mobiltelefonens kamera ift. manuel karakter fra hhv. mark og billeder. En perfekt model vises som en diagonal (øverste, venstre hjørne til nederste højre, hjørne) i hver figur. Jo længere fra diagonalen man befinder sig, desto større er forskellen mellem den manuelt angivne karakter og den modelestimerede karakter.
Der blev anvendt samme kamerasystem som i undersøgelsen i 2023, dvs. et højt-opløseligt kamera (Sony A7R4) på 61 megapixel med et 35 mm objektiv og et monteret ND-filter til øget kontrol af det indkomne lys i kameraet. Omkring kameraet var der monteret en ringblitz (Godox AR400). Denne blitz hjælper til dels med øget dybdeskarphed i billederne, men også til reduktion af hårde skygger fra direkte sollys. Det samlede system var monteret på en trefod, så kameraet stod i konstant højde ved hver parcel. Hele dette system koster omkring 30.000 kr.
Mobiltelefonen, en Google Pixel 7 Pro fra 2022, var sat op til at tage billede i almindelige format, men også i ”raw”. Telefonens kamera består af en 50 megapixel sensor, men pga. såkaldt pixel binning er billederne, som man får ud, kun 12,5 megapixel. Under billedindsamlingen blev telefonen sat til at fokusere og auto-eksponere ud fra de første synlige rækker af raps i parcellen. Da telefonen ikke er forsynet med kraftig ringblitz, spiller de naturlige lysforhold væsentligt ind. På dagen for undersøgelsen var der skiftende vejr fra stedvis sol til overskyet dog uden væsentlige udslag i billedkvaliteten.
Analysemodellen præsenterer en rimelig pålidelig analyse af de indsamlede billeder, både fra mobiltelefonen og det professionelle kamera. Der er tilfælde, hvor mindre dele af skulper og yngre skud klassificeres som stængel, men det vurderes at have lille indflydelse. Der er en mindre afvigelse i detektionen af det relative angreb af lys bladplet mellem de to kamerasystemer, men det tilføjede kalibreringsmodul kan i høj grad tage højde for forskellen. Set i lyset af, at modellen kun er trænet på billeder fra det professionelle kamera, er det godt klaret.
Som beskrevet er der i dette projekt arbejdet med to sæt manuelle bedømmelser, én fra marken og én på billeder. Da begge sæt karakterer er subjektive, og ikke præcist målt op, er de behæftet med en vis usikkerhed. Derfor er evalueringen af analysemodellen også bundet op på samme usikkerhed. I praksis er der ikke behov for ni karakterinddelinger af sorterne, men en inddeling i måske 3 eller 4 modtagelighedsgrupper er tilstrækkelig. Til denne opgave vurderes analysemodellen at kunne analysere nøjagtigt nok ved brug af både professionelt kamera og ”god” mobiltelefon.
Modellen er forbedret ved, at træningsdatasættet er udvidet, og der er blevet tilføjet et kalibreringsmodul som ”oversætter” det modelestimerede sygdomsangreb til en karakter. Således vurderes der, hvor præcist de manuelle bedømmelser og deres karakterer kan rammes af modellen. Ser man på sandsynligheden for samme model-karakterestimat +/-1 som den manuelle karakter fra billeder og i marken ligger sandsynligheden på 98,1 procent (karakter fra billede) hhv. 77,8 procent (karakter fra mark) for det professionelle kamera. Tilsvarende ligger sandsynligheden for samme model-karakterestimat +/-1 på 96,3 procent (karakter fra billede) hhv. 81,5 (karakter fra mark) for mobiltelefonen.
På den måde er sandsynligheden for, at modellen kun rammer +/- 1 karakter anderledes end de manuelle bedømmelser ret høj. Dog ses det også i confusion matricerne, at modellen godt kan have et relativt bredt spænd ift. karakterestimatet og den manuelle karakter. Flere års data fra forskellige lokaliteter og vejrforhold kan gøre modellen endnu mere sikker.
Medforfatter: Søren Skovsen, The AI Lab
