在军营中作哨书。1885年6月，清朝洋务派代表李鸿章创办北洋武备学堂，9月段祺瑞以优异成绩考入武备学堂第一期预备生，旋分入炮兵科。段祺瑞“攻业颇勤敏，以力学不倦见称于当时，治学既专，每届学校试验，辄冠其侪辈，与王士珍等齐名于世”，受到李鸿章的器重。1886年，段祺瑞与宿迁举人吴懋伟之女吴氏在合肥结婚。1887年11月，段祺瑞以“最优等”成绩从天津武备学堂炮科毕业，被派往旅顺督建炮台。
1888年冬，段祺瑞以第一名的成绩被获准与其它四位同学到德国留学。1889年春到德国，以官费入柏林军校，学习一年半年炮兵，后独自留在埃森克虏伯兵工厂实习半年。1890年秋，段祺瑞学成回国，派任北洋军械局委员。1891年调到威海随营武备学堂任教官。
1894年7月“中日甲午战争”爆发，段祺瑞与学生一道为阵地搬运炮弹，抗击日军。1895年12月，袁世凯在天津小站训练新式陆军，请荫昌推荐人才，1896年初，段祺瑞被调往天津小站，任新建陆军左翼炮队第三营统带，旋兼行营武备学堂炮队兵官学堂监督、代理总教习。1898年9月9日，以北洋新建陆军创设随营武备学堂期满告成，清廷给于炮队学堂监督段祺瑞等升叙加衔。12月新建陆军编为武卫右军，段祺瑞仍统领炮队，并赴日本观操。1899年12月，随工部右侍郎、山东巡抚袁世凯率武卫右军到山东镇压义和团，成为袁世凯扩编北洋军的重要帮手，编撰了许多本操练章典，是北洋三杰之一。
1900年5月18日，段祺瑞原配吴氏在济南病故。1901年5月31日，袁世凯将义女张佩蘅嫁与段祺瑞为继室。11月7日袁世凯任直隶总督，保奏段祺瑞“以知府仍留原省补用，并加三品衔”，“兼充武卫右军各学堂总办”。1902年5月参与镇压广宗县景廷宾起义。6月任北洋军政司参谋处总办，全面主持编练新军，7月9日升“道员留直隶补用，并加二品衔”。8月9日因镇压直隶广宗、威县反洋教团众“劳绩”，被袁世凯保奏，准赏戴花翎，加“奋勇巴图鲁”勇号。1903年12月4日清廷成立练兵处，段祺瑞任练兵处军令司正使，加副都统衔，与王士珍和冯国璋自己并称为“北洋三杰”。 1904年6月，“武卫右军”改为“北洋陆军”的时候，段祺瑞任第三镇统制官，辖第五协第六协马标。1905年5月北洋常备军第四镇成立，段祺瑞调任统制官，辖第七协第八协马协。9月转任第六镇统制。10月清北洋军在河间府举行第一次秋操，段祺瑞任“北军”总统官。1906年2月复任第三镇统制，驻宝鼎，兼督理北洋武备各学堂。3月17日补授福建汀州镇总兵，仍留北洋原任。5月8日清在保定创办“陆军行营军官学堂”，段祺瑞兼任学堂督办，北洋军官多是他的门生故吏。10月清政府在河南彰德举行南北两军第二次秋操，段祺瑞再次担任“北军”总统官。11月20日清廷准袁世凯开去各项兼差，陆军第三镇等收归陆军部统辖。
江北提督
1907年9月，清政府调袁世凯任军机大臣兼外务部尚书，削去兵权，10月16日段祺瑞被授镶黄旗汉军副都统，专意督办陆军各学堂。1908年10月17日，段祺瑞任会考陆军留学毕业生主试大臣。11月慈禧和光绪先后病死，摄政王载沣欲杀袁世凯，段祺瑞制造假的兵变，致使载沣不敢动手。12月29日又任陆军第六镇统制。1910年5月25日，清廷以段祺瑞督办北洋陆军学务有功，赏头品顶戴。12月18日加侍郎衔，外放任江北提督，驻江苏清江浦，负责本地治安。
宣统三年南方起义爆发，清廷震动，清兵与革命军在汉口激战，23日清廷谕江北提督段琪瑞，尅日由海道北上，径赴湖北参与战争，25日派段祺瑞任第二军总统官，直接由复起的钦差大臣袁世凯指挥。袁世凯令段祺瑞南下兼任第一军总统官，并署湖广总督，官位正二品。在和自己移交第一军军统关防要卷，驻师湖北孝感，全权主持前线和革命军作战任务，以武力压迫革命军。
这些都表明了段祺瑞的军事才能，正是段祺瑞的能力，让冯国璋对于收拾西南军充满了信心，因为西南军根本就没有怎么打过仗，而段祺瑞的部队则是四处开战，虽然冯国璋对于西南军俘虏自己的第八师感到惊奇，但是他毫不怀疑段祺瑞能够在武昌给他们带来胜利，至于曹锟和李纯之流，冯国璋认为他们也就和陆裕光一个水平，这张战争能否胜利要看段祺瑞的了，而现在张勋能不能获救则是看自己。
自从满清退位，王士珍隐退，北洋三杰的名声就开始下降了，现在看来这张战争的还要看自己和段祺瑞这两个北洋二杰了。