隋朝建立初期，是一个百废待兴、百乱待治的局面。隋文帝杨坚一登上金銮宝座，就施展他的雄才大略，在多方面进行了一系列重大改革。
修订开皇律
北周的法律既残酷又混乱，“内外恐怖，人不自安” 。在杨坚掌握北周政权时就曾经进行过改革，亲手删定《刑书要制》，但不太彻底。隋朝建立后，开皇元年隋文帝下令命高熲等人参考魏晋旧律，制订《开皇律》。开皇三年, 隋文帝又命苏威、牛弘修改新律，删除苛酷条文。《开皇律》将原来的宫刑(破坏生殖器)、车裂(五马分尸)、枭首(砍下头悬挂在旗杆上示众)等残酷刑法予以废除。规定一概不用灭族刑。减去死罪八十一条，流罪一百五十四条，徒、杖等罪千余条，保留了律令五百条。刑罚分为死、流、徒、杖、笞五种。基本上完成了自汉文帝刑制改革以来的刑罚制度改革历程，这就是封建五刑制。
《读通鉴论》这样赞评道：“古肉刑之不复用，汉文之仁也。然汉之刑，多为之制，故五胡以来，兽之食人也得恣其忿惨。至于拓跋、宇文、高氏之世，定死刑以五：曰磬、绞、斩、枭、磔，又有门房之诛焉，皆汉法之不定启之也。政为隋定律，制死刑以二：曰绞、曰斩，改鞭为杖，改杖为笞，非谋反大逆无族刑，垂至于今，所承用者，皆政之制也。”死刑复奏制度是从开皇十五年形成定制的，隋文帝规定凡判处死刑的案件，须经“三奏”才能处决死刑。《隋书 刑法志》：“(开皇)十五年制，死罪者三奏而决。”隋文帝还下诏：“天下死罪，诸州不得便决，皆令大理复治。”《开皇律》对后世律法影响深远，隋文帝修订的法律唐朝都基本上继承了。
确立三省六部制
隋文帝废除不合时宜的北周六官(天、地、春、秋、冬、夏)制，北周的官僚体制基本上是效仿原来西周时期的《周官》即《周礼》的形式，很原始、极混乱。六官制，称谓复杂，职掌不明，办事效率低下。杨坚恢复了汉魏时期的体制，基本上确立了三省六部制度。
杨坚在中央设立三师、三公、五省。三师、三公只是一种荣誉虚衔。掌握政权的是五省，即内侍省、秘书省、门下省、内史省和尚书省。内侍省、秘书省在国家政务中不起重要作用。内侍省是宫廷的宦官机构，管理宫中事务。秘书省掌管书籍历法，事务较少。起作用的是其他三省，内史省、门下省、尚书省都是最高政务机构。内史省负责决策，门下省负责审议，尚书省负责执行。这就是后来被唐朝继承的三省制。
尚书省下设吏、民、礼、兵、刑、工六部。每部设尚书，总管本部政务。具体办事机构就是这是六部：吏部，掌管全国官吏的任免、考核、升降和调动；民部，掌管全国的土地、户籍以及赋税、财政收支；礼部，掌管祭祀、礼仪和对外交往；兵部，掌管全国武官的选拔，和兵籍、军械等；刑部，掌管全国的刑律、断狱；工部，掌管各种工程、工匠、水利、交通等。
开始的时候，六部叫做六曹，即六个办事机构。六部的长官为尚书，六部的设置成为后代封建国家中央政权的固定制度。三省六部制分工明确，组织严密，加强中央集权。对唐及以后历代王朝影响都十分巨大，隋文帝建立的这一整套规模庞大、组织完备的官僚机构，表明封建制度已发展到成熟阶段，自隋定制，一直沿袭到清朝。