可以说正是在这样的情况下，朱元璋感到很不安心，为此越发地觉得自己需要建立一个新的机构来对自己的臣民百姓进行监管，这样一来不仅能够巩固新生的大明政权，也能加强中央集权，还能进一步确立自己的皇帝权威。于是，在洪武十五年（公元1382年），朱元璋正式向世人公布了其所建立的特务组织——锦衣卫。事实上，锦衣卫并不是凭空出现的，而是一步步发展起来的。早在朱元璋还是吴王的时候，就成立了拱卫司，该机构主要负责统领校尉（武官官职），并且隶属于都督府，后来名称由拱卫司改为拱卫指挥使司，又改称都尉司。洪武二年的时候，朱元璋正式对拱卫司进行收编，将其改为亲军都尉府，其不再隶属于都督府，而是直接归朱元璋管辖，也就正式成为皇帝亲军。
此时的亲军都尉府负责管理左、右、中、前、后五卫军士（侍卫），并且下设仪鸾司（仪仗）。洪武十五年（公元1382年），朱元璋撤销仪鸾司，设置锦衣卫亲军指挥使司，同时把亲军都尉府的侍卫功能也并入了锦衣卫之中。不过在这里要指出的一点是，虽然现在都锦衣卫被看作是朱元璋成立的庞大特务组织，但事实上锦衣卫属于根正苗红的卫所，属于“上十二卫”之一，也正因此，锦衣卫中的各级官职基本上都和卫所制度下的各级官职吻合，毕竟怎么说锦衣卫也属于卫所制度中的一员，只是地位要高一些，不归五军都督府管辖，而是直接由皇帝亲自控制。只不过随着后来锦衣卫“恶名远扬”，再加上其所处理的事件的特殊性，使其也开始带有一些特务性质了，所以慢慢地锦衣卫也被看作是特务组织了。