Ces deux mots parfaitement synonymes du langage courant peuvent s'écrirent avec ou sans trait d'union.
Et ils signifient : qui est situé au-delà des mers ; se trouvant outremer (ou outre-mer) ou venant d'outremer (ou d'outre-mer).
Il peut s'agir à la fois d'un adjectif ou d'un substantif masculin.
Et la même chose avec leurs féminins : "Outremarine" ou "Outre-marine" et "Ultramarine" ou "Ultra-marine".
On utilise principalement ces adjectifs et substantifs à propos des anciens DOM-TOM devenus DROM-COM.
Sources : www.cnrtl.fr et wiktionary.org