Ytre Maløya er i dag et yndet sommerutfartssted. Størsteparten av året ligger imidlertid øya der uten menneskelig aktivitet. Slik har det ikke alltid vært. 

Lite vitner i dag om at Ytre Maløya først på 1600 tallet og tidligere var en svært viktig uthavn med fast bosetting. Der var egen losstasjon, lege og gjestgiveri/kro. Riktignok ble det drevet uten privilegium inntil Mester Jon Gran, som drev gjestgiveri inne på fastlandet, bygslet øya fra 1630. Kroholdet uten formell tillatelse førte bl.a. til at Christian Skredder i 1623 fikk en bot på 4 riksdaler for ulovlig krohold på Ytre Maløya. Omfanget av virksomheten var da blitt for stort. 

Det har sikkert vært mange loser her. Anders Jacobssøn Yttre Malløen er nevnt som Ios i 1636-37. Han skal bl.a. ha Ioset kongens orlogsskip “Gakk Med” og “St. Oluff” både inn og ut fra Grimstad. “St. Oluff” var bygget i Strandfjorden i Grimstad og regnet som verdens største skip i sin tid.  

Ytre Maløya ble i 1641 skyldsatt til 1 geiteskinn. Størsteparten av øya var den gang kronens eiendom, og kronen hadde bygselsretten. 

Bosettingen på Ytre Maløya opphørte nokså brått. Fra 1645 var det ikke lenger fast bosetting her. Dette hadde sammenheng med at losstasjonen ble flyttet til Haaø. Ytre Maløya forble imidlertid en viktig uthavn fram til ca. 1720 da Groos uthavn vanligvis ble brukt. 

I dag er det ikke mange synlige minner etter bebyggelsen på Ytre Maløya. Imidlertid skal en av bygningene leve videre, da deler av våningshuset på Berge Gård på fastlandet, skal stamme fra Ytre Maløya. 

Det er ikke registret fornminner på øya. Imidlertid er det en gravplass i dalsøkket øst på øya. Dette er sannsynligvis sjømannsgraver. 

På østsiden finner man et par skjerp fra rundt 1900 og innerst i Kalven har man tidligere hentet ut store mengder skjellsand.