Das Whitehall Farmhouse existiert seit den 1450ern, damals war es jedoch nur eine kleine Hütte am Ufer des Flusses Medway.

Im Laufe der Jahre wurden immer mehr Erweiterungen der ursprünglichen Bausubstanz hinzugefügt, die letzte ist auf das Jahr 1821 datiert und wurde von der Comport-Familie ausgeführt. Diese ist die bislang größte und auch eleganteste der Erweiterungen und bestimmt heute noch den Charakter des Hauses.

Viele Elemente der Wand- und Deckendekorationen sind im Georgianischen Stil gehalten und sind heute noch sichtbar.