Das Rittergut Herdringen wurde 1376 erstmals urkundlich erwähnt. Bis 1543 gehörte es der Familie von Ketteler, danach den von Westrem. Im Jahre 1618 kaufte es der Paderborner Fürstbischof Dietrich von Fürstenberg und vererbte es an seinen Neffen. Seitdem gehört das Anwesen den Freiherren von Fürstenberg.

Zwischen 1683 und 1723 entstand die dreiflügelige Vorburg. In den Jahren 1844 bis 1853 wurde das eigentliche Jagdschloss nach Plänen von Ernst Friedrich Zwirner errichtet. Zwirner vollendete als Baumeister auch den Kölner Dom. Die Kapelle des Schlosses erinnert daher an dieses bedeutende Bauwerk. Heute zählt das Schloss mit Parkanlage zu den bedeutendsten neugotischen Schlössern Westfalens.

Einer der Höhepunkte seiner fast 700-jährigen Geschichte war sicherlich der Besuch des preussischen Königs Friedrich Wilhelm IV., der 1853 im Schloss zu Gast war. Noch heute trägt einer der Säle den Namen "Königssaal".
Das Jagdschloss war Drehort und Kulisse für verschiedene Filme von Edgar Wallace.