伏龍芝1904年在彼得堡工學院上學時參加俄國社會民主黨，逐漸地他成為一名出色的工人運動組織者，在說到他的志愿時，1905年參加彼得堡10萬工人請愿游行受傷后給他媽媽的信中，就說得很清楚，他“已把自己的一切獻給革命”，革命的需要，就是他可選擇的一條不平坦的道路。在他生命中，有一件永遠使他無法忘懷的事，那就是他第一次和列寧交談。

1906年4月，他作為伊萬諾夫——沃茲涅先斯克布爾什維克的代表，出席了俄國社會民主工黨第四次代表大會。在會議休息時間，列寧很有興趣地和他談起了關于軍事斗爭問題。列寧當時曾對他說，莫斯科起義說明革命需要自己的軍事家、布爾什維克要比沙皇軍官更好地懂得軍事。列寧的這次談話給了他極大的鼓舞，使他開始了對軍事的研究，并在革命斗爭中開始注意了對工農群眾的武裝訓練。

1917年彼得格勒武裝起義爆發時，他正在舒雅縣任蘇維埃主席，當聽到武裝起義勝利的消息后，他就立即率領一支由2000多名工人和士兵組成的武裝隊伍趕到莫斯科支援。伏龍芝在早期的武裝斗爭已經充分地表明他的軍事才能，這也就決定了他在蘇維埃政權遭到帝國主義武裝干涉后，真正地走上軍事的崗位。

1918年8月，他正式被任命雅羅斯拉夫軍區的軍事委員，同時12月，又被任命為第四軍司令員。

1919年春，盤距在西伯利亞的沙俄海軍上將高爾察克以20萬兵力越過烏拉爾山向莫斯科推進時，他以東方戰線南方集團軍的身份組織起對高爾察克的反攻。

1919年8月，他又改任土耳克斯坦戰線司令部，肅清了當時的反革命武裝。以后，他又轉戰于南方戰線，一次又一次地擊潰了協級國的武裝干涉軍。其中最著名的一仗，就是克里木戰役。弗蘭格爾線部憑借彼列科普地峽的天然形勢，請法國軍事專家修筑了堅固的工事，吹噓這里是第二個凡爾登，是不可攻破的。但是，戰斗中，伏龍芝奇兵突起，強渡錫瓦什海峽成功，一切神話都破滅了。列寧對這次戰役評價很高，認為“這次勝利是紅軍史上最光輝的一頁”。為了表彰他的功績，蘇維埃政府授予他榮譽革命武裝——一把帶有“人民英雄”題詞的軍刀。