Et national industriminde fra 1700-tallet
Sandsten fra Nexø blev et væsentligt byggemateriale i sidste halvdel af 1700-tallet. I 1754 lod Frederik V åbne et stenbrud ved Nexø for at skaffe sandsten til tidens mange fornemme byggeprojekter, bl.a. i Frederiksstaden i København. Stenbruddet var det første af sin art. Det menneskeskabte industrilandskab er et udtryk for Bornholms tidlige råstofbaserede industri og er udpeget som nationalt industriminde.
Fem år senere, i 1759, tegnede kgl. bygmester Jacob Fortling selve Stenbrudsgården med boliger til stenbruddets inspektør, stenhuggermester og smedemester. Senere i 1700-tallet blev gården tilført en stald og en lade omkring en stenlagt gårdsplads. Til de tre boliger hørte også store pryd- og nyttehaver med flere brønde.
Stenbrudsgårdens kraftige og rustikke mure er opført i de egnskarakteristiske broksten. Broksten var de ulige og grove sandsten, som blev tilovers, når de store stenblokke blev udvundet og skibet afsted. De stedlige sandstensbrokker blev også anvendt til Stenbrudsgårdens udhuse, til havernes tre brønde, til gårdspladsens stenbord, til det over 200 meter lange stengærde omkring gården og til gårdspladsens belægning sammen med marksten. Broksten har i stor udstrækning præget den lokale byggeskik.
Stenbrudsgårdens lange facade mod vejen er præget af tre hoveddøre, en dør til hver af de tre embedsboliger for henholdsvis inspektøren, smedemesteren og stenhuggermesteren. Det er revledøre opført i barok stil med flammerede forsider af skrå brædder, traditionelle beslag og låse samt et lille vindue foroven med små ruder. Dørene er blot et af mange arkitektoniske vidner om gårdens historie og fornemhed. Bag hovedhuset ligger det lavere, smallere og mindre fornemme baghus med en simpel revledør og en lavere, tykkere skorsten. Stedets bageovn var engang knyttet til denne skorsten, og ovnens spor er endnu at aflæse i bygningen. Det synlige hierarki mellem bygningerne er endnu et træk fra barokken. Gården er det betydeligste bygningskompleks på Bornholm fra 1700-tallet.