Der Verlag Eremitenpresse wurde 1949 vom bedeutenden Handpressen-Verleger V.O. Stomps in Stierstadt/Taunus gegründet (zu Ehren und im Namen von V.O. Stomps wird auf der Mainzer Minipressenmesse alle zwei Jahre ein Preis für bedeutende Kleinverlagsleistungen vergeben).
1967 übernahmen Dieter Hülsmanns und Friedolin Reske den Verlag, der 1972 nach Düsseldorf übersiedelte. Nach dem Tod Dieter Hülsmanns wurde Jens Olsson 1983 Mitinhaber des Verlags. Er und Reske führten den Verlag bis 2010, dann stellte die Eremitenpresse mit dem Erscheinen des 602. Titels die Buchproduktion ein – aus Altersgründen. Der Vertrieb der Backlist läuft hingegen weiter.
Die Eremitenpresse ist besonders für ihre bibliophilen Taschenbücher bekannt. Künstler wie Ulrich Erben, Günther Uecker und HAP Grieshaber steuerten Illustrationen bei.
Autoren der Eremitenpresse sind unter anderem Martin Walser, Mascha Kaléko, Johannes Brobowski und Ernst Jandl.
Der Bücherbestand ist inzwischen verzeichnet und über d:kult, die gemeinsame Datenbank der Düsseldorfer Kulturinstitute, recherchierbar.