Coldholm wurde im Jahre 3Ä 68 von Drachenwald aus gegründet. Zu dieser Zeit regierte Kaiser Uriel Septim II, und der Herrscher von Drachenwald hielt es für einen guten Zeitpunkt, einen Außenposten in Cyrodiil zu errichten und dort Handel zu treiben, denn die Provinz wurde damals von Tumulten geschüttelt. Die Nord fanden dort stetig Abnehmer für ihre Waffen, Rüstungen und haltbaren Lebensmittel, die im ganzen Land begehrt waren und gebraucht wurden. Der jetzige Standort wurde gewählt, da das Tal gut geschützt und sehr fruchtbar war.
Coldholm begann als einfacher Handelsposten mit Holzhütten, entwickelte sich jedoch durch den regen Handel mit Cheydinhal schnell weiter. 30 Jahre nach der Gründung wurde das Dorf abgerissen und eine große, steinerne Burg wurde für die dort ansässigen Händler gebaut, auch um sie vor Übergriffen der Dunmer aus Morrowind zu schützen. Auch sollte die „Eisblüte“, eine Blume, die seit ewiger Zeit in diesem Tal blühte und die von den Nord verehrt und beschützt wurde, so vor Schaden bewahrt werden. Diese Burg wurde bis heute stetig instand gehalten.
Im Jahre 3Ä 121 Wurde das Tal, in dem Coldholm lag, zusätzlich durch eine Mauer geschützt, denn zu dieser Zeit tobte der Krieg des roten Diamanten, ein Bürgerkrieg, in Cyrodiil. Coldholm wurde durch strenge Patrouillen gegen Außenstehende abgeriegelt, um nicht in den Krieg verwickelt zu werden, der Handel lief jedoch weiterhin. Als im Jahr 127 der Bürgerkrieg endete, wurde Coldholm wieder für die Öffentlichkeit zugänglich.
Über zweihundert Jahre war Coldholm ein berühmter nordischer Handelsposten. Im Jahr 312 löste es jedoch alle Verbindungen zu Drachenwald auf und stellte sich unter den Schutz des Kaisers Uriel VI. Dadurch gab es für die Nord keine Möglichkeit, ihren Vasallen zurückzufordern.
Im Jahre 3Ä 417 kam ein Abenteurer nach Coldholm. Er interessierte sich sehr für die Eisblüte und stellte viele Nachforschungen an. Die Nord ließen ihn gewähren, da er ihnen vertrauenswürdig erschien. Doch der Mann missbrauchte das Vertrauen und pflückte die Eisblüte, worauf deren verheerende Kräfte freigesetzt wurden. Innerhalb von wenigen Stunden war das ganze Gebiet von einer dicken Eisschicht überzogen. So gut wie alle Händler verließen daraufhin das Schloss. Lediglich einige dem Grafen treue Angestellte blieben, deren Familien bis heute das Schloss pflegen. Zur Sicherheit der Bevölkerung wurde Coldholm abermals abgesperrt, damit niemand an die Eisblume gelangen konnte. Der Graf verwahrte die gepflückte Blume an einem sicheren Ort, wo sie noch heute ruht.
