Brimse er rikeleg forsynt med fornminne, men har berre eit par ståande hus med noe aldersverdi. Her har og vore militær verksemd, Brimse inngikk i systemet av kystartilleri utafor kysten av Stavanger, men lite eller ingenting av dette er synleg i dag.
Øya er lita, berre eit par kilometer lang, 6-700 meter brei. I nyare tid har det ikkje vore rom for meir enn ein gard. Det er til gjengjeld ein ganske interessant gard. Og det er ein gard med ei lang historie, som dei fleste gardane på øyane her ytst i fjordsystemet.
I mellomalderen var Brimse ein del av klostergodset på Utstein, men blei sjølveigande bruk da garden blei kjøpt attende av den daverande leiglendingen Lars Torkelsson i 1758. Sidan blei garden delt på fleire bruk, og noen husmannsplassar, til det i dag igjen berre er eitt aktivt bruk på øya. Husdyrhald ser ut til å ha vore viktigaste levevegen; mjølkekyr, ungdyr, sau – og noen hestar, men dei dyrka og korn og poteter. Og dei rodde sjølvsagt fiske.
Fram mot andre verdskrigen utvikla Brimse seg til å bli ein ettertrakta feriestad og det blei seld eller bygsla ut ein del hyttetomter. Dei fritidsbuande utgjer i dag den største delen av busettinga på øya.
Grønsakproduksjonen på Brimse
ar gitt grunnlag for utvikling av
restauranttilbod i verdsklasse.
Vi nemnte tidlegare at Klostergarden var eit grunnlag for suksessen til Renaa-restauranten i Stavanger. Frode Ljosdal på Brimse er ein annan. Han og familien er mellom dei få fastbuande på øya, og det er ei øy med liten trafikk. Brimse er ein av dei få øyane sør i fjordane som ikkje har fått fastlandssamband. Her er få bilar og berre smale vegar berekna for fotgjengarar, hestar og i nauda ein traktor. Det kan vera fint for oss som berre skal vera gjester, men tungvindt for den som laga seg eit levebrød på øya.
