Décoré de la croix de guerre 1914-1918 pour s'être illustré lors de la première guerre mondiale, Victor Le Gorgeu est élu maire de Brest en 1929. L'année suivante, il est élu par le Finistère au Sénat où il se montre très actif.
Nommé sous-secrétaire d'État à l'éducation physique puis à l'enseignement technique dans les cabinets d'Albert Sarraut et de Camille Chautemps, il est réélu sénateur en 1938.
A Vichy, il vote contre les pleins pouvoirs au maréchal Pétain, le 10 juillet 1940.
Son opposition au régime va crescendo. Dans un premier temps, il accepte que son conseil municipal soit remanié par le pouvoir central et il multiplie les appels au calme pour éviter que la population ne soit victime de représailles de la part des autorités allemandes. Au fil des mois, il entre en conflit de plus en plus ouvert avec le pouvoir et finit, dès 1941, par être révoqué de ses fonctions de maire de Brest pour avoir refusé de voter une motion de confiance à Pétain.
Victor Le Gorgeu s'engage alors dans la lutte clandestine, ce qui lui vaut d'être décoré de la médaille de la Résistance à la Libération. De 1944 à 1946, il est nommé commissaire de la République à Rennes, puis entre au Conseil d'État en 1947.