中国在经过了五胡十六国及南北朝的长期分裂后，又走上“分久必合”之路。而完成统一大业的人，就是隋文帝杨坚。
北周宣政元年(578年)，北周武帝死后，由子宣帝继位，朝政大权落在大臣杨坚的手里。杨坚之家族出自六镇之一的武川镇，受鲜卑族的影响颇深。其父是北周功臣，为十二大将军之一，封随国公。坚袭父职，其女为宣帝皇后，遂以外戚而掌军政大权。静帝大象二年(580年)，杨坚自居大丞相总知中外兵马事。公元581年二月，杨坚逼迫年仅九岁的静帝让位，自立为帝，建立了隋朝(公元581年－618年)，是为隋文帝(581年－604年)。杨坚建国后，立年号为开皇，首都依旧定在长安一带，但于汉长安城东南另筑新城，并更名为大兴。
杨坚伐陈
隋朝一建立，隋文帝即着手准备统一南北之大计。当时隋朝领域大体包括长江以北，汉代长城以南，东至沿海、西达四川的广大地区。文帝一面继承周武帝的改革事业，一面取消、改变前朝之弊政，进一步采取一系列加强君主集权、发展社会经济的措施，使隋的政治、军事和经济力量日益壮大，国力蒸蒸日上，远远超过了江南的陈朝。
当时江南陈朝的政治极端腐败，陈后主生活糜烂，奢侈荒淫，对民众聚敛无厌。文帝借此制造舆论，说自己挥师南下是为了除暴安良。他对仆射高颍说：“我为百姓父母，岂可限一衣带水不拯之乎？”
在经过一番紧锣密鼓的准备之后，隋文帝杨坚遂于开皇八年（公元588年）三月下伐陈诏，历数陈后主罪恶，并抄写三十万份，散发江南各地。十月，命晋王杨广、秦王杨俊、清河公杨素率军50余万，同时从长江上、中、下游分八路攻陈。分别由六合（今属江苏）、襄阳（今属湖北）、永安（今四川奉节东）、江陵、蕲春（今属湖北）、庐江（今安徽合肥）、广陵（今江苏扬州）、东海（今江苏连云港市）数路出兵。隋军在“东接沧海，西拒巴、蜀，旌旗舟楫，横亘数千里”的长江沿线对陈发起全面进攻。这一战略进攻的目的在于使散布在长江中下游的陈朝水陆军队首尾不能相顾，并且使上流陈军无法东下增援建康，同时便于对陈军分割包围、各个击破。589年正月，隋军发起突然袭击，、两军渡过长江，分别从京口（今江苏镇江）和采石（今安徽当涂县境）对建康完成了合围之势。
建康地势虎踞龙盘，向称险要。此时，陈在建康附近的部队仍不下10万，但行将覆灭的陈氏王朝，政治军事一团糟。陈叔宝弃险不守，把全部军队收缩在都城内外。当许多官员要求采取紧急措施时，陈后主却说：“王气在此。齐军三来，周师再来，无不摧败。彼何为者邪！”大臣孔范随声附和道：“长江天堑，古以为限隔南北，今日虏军岂能飞渡邪！”于是他们醉生梦死，依然故我，连沿江告急文书都不屑过目。等隋军逼近建康，陈后主先是日夜啼哭，束手待毙，后决定孤注一掷，命令各军出战，指望侥幸取胜。陈军在钟山南20里的正面上布成一字长蛇阵，鲁广达率部在最南方的白土岗列阵，向北依次为军、樊毅军、孔范军、军。但陈军毫无准备，既未指定诸军统帅，又无背城一战的决心，各军行动互不协调，首尾进退不能相顾。贺若弼未待后续部队到达，即率先头部队出战陈鲁广达部，初战不利，贺若弼燃物纵烟，掩护撤退，尔后集中全力攻击萧摩诃部，陈军一部溃败，全军随之瓦解。在这同一天，韩擒虎进军石子岗（今江苏南京雨花台），陈将任忠迎降，引韩部直入朱雀门（都城正南门宣阳门南2．5里），攻占了建康城。陈叔宝藏匿于景阳殿的枯井之中，最后连同张贵妃、孔贵妃一起被隋军俘获。正月二十二日，杨广进入建康，命令陈叔宝以手书招降上游陈军周罗侯、陈慧纪等部。同时遣兵东下三吴，南进岭南等地，与少数民族首领冼夫人配合，先后击败残存陈军的抵抗，陈朝亡。至此，自西晋灭亡以来分裂了二百七十多年的中国，重新归于一统。
平定叛乱
之后，隋文帝还平定了地方豪族的叛乱。陈亡之后，江南士族高门虽大都北迁，但梁陈时正在扩大势力的地方豪强以及所谓“溪洞豪帅”却仍然保有实力。隋朝派到江南的官吏都是北方人，不尊重地方豪强的特权。豪强们认为统一损害了他们的利益。开皇十年（590年）冬，遍至陈朝旧境的反隋暴动爆发。当时谣传隋朝要把所有江南人全部迁入关中，豪强们因此得以纠集民众，大股数万人，小股数千人。隋朝派遣杨素为行军总管，领兵镇压。统一是大势所趋，分裂割据不可能真正获得江南人民的支持。豪强们各踞一方力量也分散。隋军将其各个击破，大约次年即告平定。士族高门的北迁和这次镇压，沉重打击了江南的割据势力。
统一南北
自西晋末年以来，南北长期分裂的主要原因是尖锐的民族矛盾。北朝后期，鲜卑贵族的门阀化，尤其是各族人民共同的生产斗争和阶级斗争，促进了民族大融合；汉族杨氏代周以后，象征民族矛盾的鲜卑政权亦告消亡，南北统一的条件已经成熟。当时，隋的经济、政治及军事力量都比陈强。于是，结束近300年分裂状态的历史任务便由隋来完成了。一个统一的多民族的封建中央集权国家又重新建立起来。
