Den 6. oktober 1855 samlede ti driftige borgere i Svaneke og Ibsker sig i et interessentskab med formålet om at opføre en Hollandsk Veiermølle. De købte derfor en grund på 3.000 kvadratalen i byens nordvestre udkant.
Siden er der gennemført et omfattende arbejde med at restaurere møllen, som blev fredet i 1960. Realdania støttede i 2004 en del af arbejdet med godt 100.000 kr., blandt andet fordi møllen besidder særlige kulturhistoriske værdier som den eneste fredede hollandske træmølle på Bornholm.
Svanemøllen er en såkaldt hollandsk mølle og udmærker sig ved at være beklædt med egetræsspåner - små egetræsstykker, der overlapper hinanden
