De Bakenes is geografisch gezien een landtong (schiereiland), vrijwel omsloten door een bocht in het Spaarne. Aanvankelijk was dit gebied een drassige ‘nes’ of ‘nesse’ waarop zich nederzettingen van vissers bevonden. Al rond het jaar 990 duikt de naam Bakenes op, die later op verschillende manieren is verklaard. Het meest waarschijnlijk is dat nes (neus, Frans nez) wijst op een in het Spaarne vooruitspringend stuk land (landtong), waarop een baken voor de schepen zou hebben gestaan.
Deze punt in het Spaarne was al vanouds van strategische betekenis, daar men hier de toegangsweg over water van het land der woeste Kennemers en Westfriezen naar het gebied der Graven van Holland kon beheersen. Daarom hebben de laatsten er ook een versterkte nederzetting op gebouwd, een zogenaamde vroonhof of curia, die onderdak bood aan de vorst en zijn ridders en was voorzien van opslagplaatsen en schuren. Langsvarende schepen zouden bij een comptoir (kantoor waarin o.a. tolgeld betaald wordt) tol hebben moeten betalen.
In de dertiende eeuw verplaatsten de Graven hun hoofdverblijf naar het Sant (de huidige Grote Markt). Graaf Willem II, die naar Den Haag verhuisde, gaf in 1250 de oud-grafelijke hofstede op Bakenes als een meierhof in leen aan de heren van Haarlem. Deze leenmannen mochten hun eigen wapen, banier of baken voeren. In 1252 geeft een van hen, Simon Persijn, op zijn beurt elf erven op Bakenes in pacht uit. Hierna noemde hij zich ‘Simon van Bakenesse’. In 1340 verhuurde Jacob van Bakenesse een hofstede ‘op Bakenesse’.
Bakenes of Oud-Haerlem, zoals het gebied in die tijd ook werd genoemd, stond in de dertiende eeuw slechts door de Damstraat in verbinding met het Sant. Hierdoor bleef het gebied voor een groot deel onbebouwd. Omdat de stad Haarlem, omsloten door de Oude Gracht en de Bakenessergracht, uit zijn voegen begon te barsten, besloot het stadsbestuur aan het begin van de veertiende eeuw om Bakenes binnen de stadsgrenzen te trekken. Maar het terrein lag erg laag en het Spaarne had er min of meer vrij spel. Om het land op te hogen werden zand en slib uit het Spaarne gebruikt.
In 1360 gaf hertog Albrecht aan Jan van Scoten de helft van de oude toren bij de oude gracht van Bakenes. Het gaat hier waarschijnlijk om het Gravensteen, ofwel de Kijk-Bakenes, een versterkte toren die op het Koperslagerspleintje (in de buurt van de huidige Gravenstenerbrug) dienst deed als uitzichttoren voor de stadsbewaking en daar tot in de achttiende eeuw stond.
In 1385 verhuurt de stad als eigenares erven ‘twisken der Spaern ende Bakenessergragte’, en in de voorwaarden om slechts muren van een aangegeven maat en hoogte aan de achterzijde dier erven te bouwen, vinden we de oudste aanduiding van stenen stadsmuren.
(Getekend in 1780 door H.P. Schouten – Beeldcollectie van de gemeente Haarlem)