A son retour d'exil en 1880, Vaillant ne voit, dans un avenir immédiat, qu'une tâche principale: l'organisation d'un grand parti socialiste national, se donnant pour but premier la conquête du pouvoir politique. Nominalement lié à l'organisation blanquiste issue de la proscription londonienne, le Comité révolutionnaire central, il s'établit loin de Paris pour se vouer à l'organisation du parti dans son département du Cher; c'est le premier témoignage de son désaccord avec les représentants d'idées, de tactiques devenues à ses yeux surannées: c'étaient celles du Second Empire. Pour cette tâche d'organisation il a craint d'abord de s'allier avec Jules Guesde, le passé de celui-ci étant trop équivoque. Mais Vaillant se rend compte bientôt qu'entre Guesde et lui existe une communauté certaine d'esprit touchant cette œuvre immédiate d'organisation; dans les années quatre-vingts, les rapports entre les deux hommes se resserrent jusqu'à atteindre, au moment de la crise boulangiste, le niveau d'une véritable unité d'action. Au cours des années quatre-vingt-dix, après le départ du C.R.C. des éléments entraînés dans l'aventure boulangiste par Henri Rochefort, Vaillant dirige son parti vers une organisation ouverte et active sur une triple base: action politique sous toutes ses formes, y compris l'usage de toutes les fonctions électives; action économique de toute espèce; action démocratique, création d'un mouvement de masse entraînant, dans le courant socialiste, les forces vives de la nation. Poursuivant constamment cette forme d'action il s'éloigne des «doctrinaires» du P.O.F. pour trouver, pendant quelques années, en Jaurès un compagnon de lutte avec lequel il s'est senti sûrement plus d'affinités.