Après avoir échoué une première fois, il est élu député travailliste de la circonscription de Dunfermline Est au nord-ouest d'Édimbourg en 1983 (il occupera cette fonction jusqu'en 2005) et, en 1985, devient porte-parole de l'opposition sur les sujets relatifs au commerce et à l'industrie. En 1986, il publie une biographie sur James Maxton (membre du Parti travailliste indépendant) qui a été le sujet de sa thèse de doctorat. Durant ses mandats dans l'opposition, il fut membre du Cabinet fantôme (Shadow government). Il occupa les postes de secrétaire au Trésor de 1987 à 1989, puis secrétaire d'État au Commerce et à l'Industrie avant de devenir Chancelier (ministre des Finances) à partir de 1992.

Après la mort soudaine de John Smith en mai 1994, Brown est devenu un des dirigeants potentiels leaders du Parti travailliste. Pendant longtemps, des rumeurs ont affirmé l'existence d'un accord passé dans le restaurant londonien Granita entre Tony Blair et Gordon Brown selon lequel Blair aurait promis d'offrir à Brown, si les travaillistes remportent les élections, le contrôle de la politique économique à condition que celui-ci ne se présente pas contre Blair[7]. Que cet accord informel, connu sous le nom d'accord de Granita ou accord Blair-Brown, ait été vrai ou pas, la relation entre Tony Blair et Gordon Brown a joué un rôle central dans le renouveau du Parti travailliste et ils se sont toujours montrés unis en public malgré de sérieux désaccords en privé.

En tant que Chancelier du cabinet fantôme, Brown tenta de se présenter comme un économiste sérieux et rassurant pour les hommes d'affaires et la classe moyenne, tentant de prouver que les travaillistes pouvaient gérer l'économie sans voir l'inflation, le chômage ou les déficits augmenter. Il poussa ainsi le parti à poursuivre la politique des conservateurs durant les deux premières années de son mandat de Chancelier.

Depuis 2005, il est élu dans la circonscription nouvellement créée de Kirkcaldy and Cowdenbeath