明朝一建立，最早担任左右相国（丞相）的是李善长、徐达。李善长是文官之首，而徐达是军队之帅，真可谓位高权重。后来，出任丞相一职的李文忠、汪广洋、胡惟庸等人，也都是勋贵之臣，更说明中书省的地位非常独特。

可是，设置中书省这样一个机构，并授予这么大的权力，不仅与中国传统的皇权国家体制几千年来不断压抑相权、抬高皇权的趋势相抵牾，而且也不符合封建社会晚期高度集权的皇权专制统治的需要，更是一贯喜欢独揽大权的明太祖朱元璋所不能容忍的。特别是，最后一任丞相胡惟庸独断专权，“专生杀黜陟，以恣威福。内外诸司封事入奏，（胡）惟庸先取视之，有病己者辄匿不闻。由是奔竞之徒，趋其门下”。由于皇权与相权的矛盾激化，洪武十三年（1380年），朱元璋掀起大狱，以“谋反”的罪名处死了胡惟庸。

其实，“胡惟庸案”只不过是一个偶然的事件。为了铲除胡惟庸，朱元璋硬给他扣上了私通日本和蒙古，图谋造反的罪名。罪名其实都是“莫须有”的，究其根源，是因为中书省（丞相）对于专制皇权造成了极大的威胁。对此，朱元璋早就心怀不满，而死到临头的胡惟庸却不知收敛，恃功骄纵，跋扈揽权，更促使朱元璋下定决心，作了断然处置。