À la suite de de leur départ de Ny en 1972 , Milk et son compagnon, Scott Smith, ont décidé de s'installés à San Francisco . Ils ont choisi de vivre à Eureka Valley, dans le 5e District. C’était un quartier en transition qui allait bientôt être rebaptisé le District Castro, ou « Le Castro ». Eureka Valley était une des rares ville ou les homosexuel pouvait se montrer au grand jour .
Milk et Smith y ouvrirent une boutique, Castro Camera, au 575 Castro Street, près de la 19e Rue. Ce modeste magasin de photo devint rapidement un lieu de ralliement, de rencontres et de discussions. Le caractère grégaire de Milk et son sens de l’humour le firent vite apprécier d’une grande majorité des habi- tants du quartier et des commerçants alentour. Ils se rendaient à son magasin pour discuter de questions et de problèmes concernant leur quartier. En tant que propriétaire d’un petit magasin, Milk réorganisa la Castro Village Association, l’association des commerçants locaux. Il fut aussi l’un des créateurs de la fête annuelle du quartier, la Castro Street Fair, qui attirait des gens venus des quatre coins de San Francisco.
Parmi les piliers de la boutique, et fidèles alliés et amis de Milk au cours des années qui suivirent, figurent Scott Smith, mais aussi Cleve Jones, le protégé de Milk ; Danny Nicoletta, qui a photographié le monde de Milk et a travaillé au magasin ; Jim Rivaldo, le directeur de sa première campagne ; Dick Pabich, un stratège qui est devenu l’un des premiers assistants de Milk à la mairie ; Michael Wong, conseiller politique,et Anne Kronenberg, la seule lesbienne du groupe, qui a dirigé la campagne victorieuse de Milk à l’élection au poste de superviseur.Cette campagne, en 1977, était la quatrième pour Harvey Milk..
Milke ne s’identifie pas comme candidat, mais comme partie prenante d’un mouvement où l’intime envahit la scène politique . Les homosexuels n'étaient pas très bien accepté , ils n'osaient meme pas avouer leur orientation sexuel de peur