段祺瑞曾袁世凯的部下,在天津练兵时就跟随袁世凯,是北洋军“皖系”的首领。
1912年2月15日袁世凯被南京临时参议院推举为临时大总统,17日袁令段祺瑞署理陆军部总长,有训练、调遣军队和提拔军官的权力,29日通过段祺瑞为陆军总长,北京第一届内阁组成,段祺瑞积极参与袁世凯打击责任内阁与革命党人的活动。8月16日,段以陆军总长身份副署,使袁世凯、黎元洪杀害武昌首义元勋张振武的阴谋得以实现,22日参议院对段祺瑞提出弹劾,23日段祺瑞赴参议院答辩。9月7日,袁世凯颁令段祺瑞授为陆军上将。10月9日特授勋一位,给予二等嘉禾章。12月8日,段祺瑞受袁世凯命到武昌以“磋商要政”为词“迎接”副总统黎元洪入京,9日晚黎元洪等十数人在陈宦的押解式的陪同下登车北上,10日袁世凯就公布了以陆军总长段祺瑞暂代领湖北都督的命令。
1914年2月1日,袁世凯召段祺瑞回京供职,另遣段芝贵署理湖北都督。
1915年3月19日袁世凯召开对日会议,段祺瑞主张强硬。5月2日,参谋总长黎元洪、陆军总长段祺瑞、海军总长刘冠雄率三部之远赴关岳庙宣誓,以示军人忠诚卫国。5月8日,内阁讨论日方关于要袁世凯签订“二十一条”的最后通牒,段祺瑞独持异议,主张动员军队,对日采取强硬态度,袁世凯决定屈从,30日段称病辞职,隐居西山。8月14日北京成立“筹安会”,段祺瑞对袁世凯帝制行为表示不满。8月28日,袁世凯下令正式免段祺瑞陆军总长职。12月袁世凯称帝大封爵位,段祺瑞并未授爵。
1916年3月22日,袁世凯被迫取消洪宪帝制,23日令段祺瑞任参谋总长。4月22日,段祺瑞代徐世昌为政事堂国务卿,23日兼陆军总长,免参谋总长,5月8日撤销政事堂恢复国务院和总理名称,实行责任内阁制,段祺瑞任国务总理。但袁对段并不放心,不但不采纳段祺瑞的建议,反而暗嘱梁士诒以掣其肘,这加深了段的怨恨,对当时军事政局的变化也不尽心。5月12日,段祺瑞下令中国银行、交通银行两行停止兑付现金,促使人们对袁更加不满。6月6日袁世凯病死,此后北洋政府的内政外交在很长一段时间内都由段祺瑞主导。