Was du vor hast, geht mit sogenannten Frames. Diese haben jedoch erhebliche Nachteile und sollten deshalb nicht mehr eingesetzt werden; entsprechen auch nicht mehr dem modernen Webstandard.
Am besten baust du dir eine Standardseite. Diese kopierst du mehrmals und speicherst sie unter dem Namen der Einzelthemenseiten ab. Dann änderst du auf jeder Seite den variablen Inhalt.
Wenn du die Dateien mit der endung .php abspeicherst und dein Web-Paket PHP-fähig ist, dann kannst du Fixbestandteile auf allen seiten auch inluden.