Lieven Scheire: Vlk, nebo husky?

Před několika lety se umělá neuronová síť naučila rozeznávat vlky od huskyů. Dostala hodně fotek vlků a huskyů a cvičila se, dokud je nerozeznala. Potom tu síť testovali a fungovala vážně dobře. Dokud jí neukázali fotku vlka a síť neřekla, že jde na 100 % o huskyho. Něco se pokazilo. Sítě se nemůžete zeptat, proč si myslí, že jde o huskyho, protože to sama neví. Vyvinuli tedy nový software, který dokázal zjistit, které části fotky byly pro odpověď nejdůležitější.



Můžete to dokola krmit tou samou fotkou, změnit v jedné části nějakou barvu a sledovat, zda se odpověď změní: vytvořit si teplotní mapu té fotky. A tak zjistili, že aby rozlišila vlky od huskyů, umělá neuronová síť sledovala jediné. Zda je v pozadí sníh. Jestliže na cvičných fotkách mají všichni huskyové na pozadí sníh a žádní vlci jej tam nemají, bude to to, co si síť zapamatuje.



Neví, že má porovnávat zvířata. Snaží se pouze najít statisticky největší rozdíl mezi dvěma skupinami dat. Je-li to sníh na pozadí, ovlivní to její rozhodnutí. Tenhle příběh o sněhu v pozadí se stal metaforou, varováním pro vývojáře AI. Vždy si dávejte pozor na skrytá zkreslení, kterých si ve cvičných datech nevšimnete, protože síť ovlivní, i když to nechcete, nebo si to dokonce neuvědomujete. Překlad: alice www.videacesky.cz