Im Zentrum der Gemeinde Herdern befindet sich Schloss Herdern. Der älteste Teil des Gebäudes diente den Lehensherren von Toggenburg als Wehrturm. Der Turm muss im 12. Jahrhundert aufgebaut worden sein, umgeben von Mauer, Wall und Graben, während das Wohnhaus als Anbau an den Turm von einem viel späteren Besitzer errichtet wurde. Seit 1895 beherbergt Schloss Herdern die Arbeiterkolonie, die heutige Institution.
Das Wahrzeichen von Herdern ist zweifellos der Schlossturm aus dem 12. Jahrhundert. In den Jahren 1286 und 1311 wurde Jakob der Bettler als Inhaber erwähnt und blieb bis 1403 im Besitz des Geschlechts der Bettler.
Über mehrere Verkäufe und Erbgänge gelangte die Burg schliesslich 1580 an die Familie Breitenlandenberg, die ihr den Namen Barbenstein gab. Unter Ulrich von Breitenlandenberg wurde das Schloss 1601 bis 1610 auf die heutigen Grundrisse gebaut.
Nach den Wirren des dreissigjährigen Krieges verarmte das Geschlecht, weshalb die Herrschaft Herdern in den Besitz des Luzerner Klosters St. Urban gelangte. Als Residenz des Statthalters musste es – ausgebaut in ein barockes Schloss – fortan die klösterlichen Repräsentationsbedürfnisse erfüllen. Damals bekam der Turm seine heutige, achteckige Form mit der Zwiebelhaube.
Im 18. Jahrhundert veränderte sich das Schloss kaum. Nach Aufhebung des Klosters St. Urban übernahm der Kanton Luzern das Schloss Herdern inklusive der Ländereien. Dieser verkaufte schliesslich den gesamten Besitz an die Herren Burckhardt-Preiswerk aus Basel, die als Landjunker zwischen 1848 und 1860 erfolgreich Landwirtschaft betrieben.
Bis zum Kauf des Schlossgutes 1895 durch den Verein «Arbeitskolonie Herdern» wechselten die Besitzer noch mehrmals.
Unter dem Vorsitz von Professor Kesselring wurde 1892 in Zürich der Verein für die Arbeiterkolonie Herdern gegründet. Mit dem Motto «Arbeit statt Almosen» sollten die «Tippelbrüder» oder «Brüder der Landstrasse» zu regelmässiger und nützlicher Arbeit erzogen werden. Zu diesem Zweck wurde das Schloss Herdern 1895 erworben. Nach einer Umbauphase wurde am 1. November der Betrieb aufgenommen. 108 Männer fanden damals Platz in der Kolonie Herdern.
1971 gelangte man an einen Punkt, wo die Konzepte und die Wohnbedingungen den Anforderungen der modernen Gesellschaft nicht mehr genügen konnten. Der massive infrastrukturelle Erneuerungsbedarf führte aus finanziellen Gründen fast zur Schliessung von Schloss Herdern. Mehrere Deutschschweizer Kantone, und massgeblich auch der Bund, sicherten letztlich durch ihre finanzielle Unterstützung nicht nur den Erhalt von Schloss Herdern, sondern sogar dessen Erweiterung.