Mannen fördes med ambulans till sjukhus där han vårdades men senare avled. Anhöriga är underrättade.
Larmet kom strax före klockan 15.30 på lördagen sedan flera vittnen sett en person ramla av en båt.
Räddningstjänsten Östra Götaland drog i gång en intensiv insats i samverkan med Sjöräddningscentralen och räddningstjänsten i Valdemarsvik och Gryt.
– Vi har både helikopter och båt på plats. Våra dykare har jobbat nu i 40 minuter, sade Mikael Kalered, inre befäl på räddningstjänsten Östra Götaland, vid 17-tiden.
Mannen hittades vid 17.20, enligt räddningstjänsten.