Sous l'allure d'un vieillard entièrement vêtu de gris, Olórin débarque en Terre du Milieu vers l'an mille du Troisième Âge. À son arrivée, l'Elfe Círdan, devinant en lui un être bien plus important que ne le laissait suggérer son apparence, lui remet Narya, l'un des Trois Anneaux. Durant maintes années, il parcourt la Terre du Milieu et se fait connaître auprès de nombreux peuples, recevant en même temps de nombeux noms :
Gandalf est le nom que lui donnent les Hommes du Nord ;
Mithrandir est son nom sindarin (il signifie « Gris pèlerin »), utilisé par les Elfes et les Gondoriens ;
les Nains l'appellent Tharkûn ;
il est connu sous le nom de Incánus chez les Haradrim[3], nom qui signifie « espion du Nord ».
Gandalf est le principal artisan de la victoire contre Sauron dans la Guerre de l'Anneau. Il est d'abord envoyé par le Conseil Blanc à Dol Guldur, pour découvrir l'identité du Nécromancien. Après un premier échec, il apprend qu'il s'agit de Sauron.
Il persuade ensuite le Nain Thorin II Écu-de-Chêne, roi du peuple de Durin en exil dans l'Ered Luin, de reprendre son royaume en Erebor, qui se trouve sous la coupe du dragon Smaug. Gandalf fait lui-même partie de l'aventure et recrute entre autres le Hobbit Bilbon Sacquet[4]. Suspectant que ce dernier a mis la main sur un anneau de pouvoir potentiellement dangereux au cours du voyage, il fait surveiller la Comté par les Rôdeurs.
Après avoir découvert qu'il s'agissait en fait de l'Anneau Unique de Sauron, Gandalf convainc Bilbon de le laisser à son jeune neveu, Frodon. Il montre sa force de volonté en refusant de le prendre lui-même, sachant que l'Anneau lui conférerait une puissance exceptionnellement élevée (peut-être supérieure à tout autre pouvoir en Terre du Milieu) mais trop difficile à maîtriser pour faire le bien uniquement[5]. Lors du Conseil d'Elrond à Fondcombe, c'est à Frodon qu'est alors confiée la tâche de détruire l'Anneau. Membre de la Compagnie de l'Anneau, Gandalf tombe à Khazad-dûm lors de son combat contre un Balrog. Il le vainc au sommet du Zirakzigil, mais sa victoire lui coûte la vie et signe l'échec des Istari[6].
Renvoyé en Terre du Milieu par Eru Ilúvatar pour achever sa tâche, il devient Gandalf le Blanc. Il aide ensuite Théoden, roi de Rohan, à se défaire de l'emprise de Gríma Langue de Serpent, puis expulse Saroumane de l'ordre des magiciens. Lors de la bataille des Champs du Pelennor, il affronte le Roi-Sorcier d'Angmar, seigneur des Nazgûl, devant les portes de Minas Tirith. L'Anneau Unique détruit, il part vers l'Ouest, la demeure des Valar, avec les autres porteurs d'anneaux (Frodon, Bilbon Sacquet, Galadriel, Elrond) car sa tâche est terminée[7].