Ce fut au Second Age, vers 1000, que Sauron décida de construire sa forteresse de Barad-dûr. Inquiet de la puissance de Númenor, il bâtit cette immense tour, au pied d'Ered Lithui. Le chantier dura 600 ans. La tour fut achevée, mais en 3262 du Second Age, Sauron dut l'abandonner. Vaincu par l'armée numénoréenne, il fut amené en captivité sur l'île de Númenor. Il réussit à corrompre le roi qui finit par se retourner contre les Valar. Númenor fut détruite mais Sauron survécut et rejoignit sa forteresse.
Alors il leva une armée dans le but d'anéantir les Humains et les Elfes. Il s'empara de Minas Ithil mais une alliance fut conclue. Elendil et Gil-galad unirent leurs forces afin de le combattre. Ils marchèrent en direction du Mordor, et après avoir vaincu les troupes de Sauron lors de la Bataille de Dagorlad, ils assiégèrent Barad-dûr. Le siège dura sept ans, animé par quelques escarmouches qui coûtèrent la vie à Anárion, fils d'Elendil. Puis vint le moment où Sauron lui-même sortit de Barad-dûr. Il affronta Elendil et Gil-galad qui furent tués. Cependant, Isildur finit par terrasser Sauron en le séparant de son Anneau.
Isildur s'empara de l'Anneau mais ne le détruisit pas. Il le garda et laissa ainsi l'esprit de Sauron intact. Il rasa Barad-dûr sauf ses fondations.
Après avoir erré pendant plusieurs millénaires, Sauron rejoignit le Mordor. En 2951 du Troisième Age, il commença à reconstruire sa forteresse. Cette fois-ci, il y utilisa beaucoup de sa magie. Malheureusement pour lui, l'Anneau fut détruit et son Esprit se dissipa.
Barad-dûr s'effondra en même temps que toute la magie de son maître. Le site de Barad-dûr fut abandonné et la tour ne fut plus jamais reconstruite.