Das Landgericht in Nordhausen und das angeschlossene Gerichtsgefängnis wurden frühzeitig in den nationalsozialistischen Verfolgungs- und Unterdrückungsapparat eingebunden. So wurden bereits 1933 mehrere Kommunisten und Sozialdemokraten in dem Gefängnis festgehalten.
Seit Mitte der 1930er Jahre wurden die Insassen des Gerichtsgefängnisses, von denen viele wegen politischer Delikte inhaftiert waren, zur Zwangsarbeit herangezogen. Die Strafgefangenen arbeiteten u.a. für die Ziegelei R. Schulze u. Co., die Gipsfabrik A. und F. Probst und die Kornhaus Nordhausen GmbH. Die Untersuchungshäftlinge wurden zu Schachtel-Falzarbeiten für die heimische Kautabakindustrie eingesetzt. Kranke, Fluchtverdächtige sowie Gefangene mit schwebenden Verfahren vor dem Sondergericht Erfurt mussten im Innendienst im gefängniseigenen Holzverkleinerungsbetrieb arbeiten, der 1500 Nordhäuser Haushalte mit Holz belieferte.

Bis zum Frühjahr 1943 war das Gerichtsgefängnis Nordhausen vorwiegend mit männlichen Untersuchungshäftlingen und Strafgefangenen belegt. Im Februar 1943 wandelte das Reichsjustizministerium das Gefängnis im Rahmen der sozialrassistischen Verfolgungspolitik zur Vollzugsanstalt für "gestrauchelte" Frauen um und ließ über 100 Frauen aus verschiedenen mitteldeutschen Haftanstalten nach Nordhausen verlegen. Die meisten von ihnen mussten in der Heeresmunitionsanstalt Wolkramshausen arbeiten und wurden mit ihren Aufseherinnen täglich auf Lastkraftwagen vom Gefängnis nach Wolkramshausen und zurück gefahren. Ihre Unterbringungerfolgte im Gefängnis auf engstem Raum, viele Häftlinge mussten ihre Zelle mit bis zu zwölf anderen Frauen teilen.