Während sich die Nibener größtenteils am Östlichen Ufer des Niben ansiedelten, näherten sich ihnen immer mehr die Ayleiden die inmitten des Herzlandes lebten. Daher auch der Cyrodiilische Name „Herzland-Elfen“. Mitten auf der großen Insel des Rumare-Sees ließen sie sich nieder und waren auch für den Bau des Weißgoldturms verantowortlich, der ihnen als Sitz ihrer Könige diente. Dieses antike Elfenvolk war den Menschen zu diesem Zeitpunkt noch weit überlegen und zählte zu den mächtigsten Völkern Tamriels. Im Zuge ihrer Ausbreitung im Zentrum des Kontinents unterwarfen die Ayleiden alle Menschen und Tierrassen und ließen sie als Sklaven für sich arbeiten. Jene die sich der Sklavenarbeit wiedersagten wurden von den Ayleiden schwer bestraft oder sogar hingerichtet. Deshalb staute sich die Wut über die tyrannische Herrschaft der Elfen über die Jahre ins unermessliche, bis die Situation zu einem Sklavenaufstand eskalierte.