太祖洪武初年，胶东半岛沿海仅设有莱州、登州、宁海三卫，隶山东都指挥使司。
洪武卅一年，倭寇大掠胶东，太祖遂于当年为山东都司一次性增置了七卫、三守御千户所，自北向南依次为奇山守御千户所、威海卫、成山卫、宁津守御千户所、靖海卫、海阳守御千户所、大嵩卫、鳌山卫、灵山卫、安东卫。
然因海岸线漫长和卫所事权分散，永乐初年的抗倭战役、战斗依然多以失败收场。
为此，成祖于永乐六年增设“总督登莱沿海兵马备倭都指挥使司”，简称山东备倭都司作为山东都指挥使司之“行都司”，和山东沿海最高军事机构统一管理山东海防，驻节登州府城。
其下建即墨、登州、文登三大营，划定防区、统辖卫所。
其中的登州营守御北海，辖登州、莱州、青州左三卫和奇山、福山中前、王徐寨前三所。
登州地处极边，外接重洋，历为水军要塞。
明初升州为府，登州卫下辖七个千户所，每个千户所设备倭船十只，共辖战船七十余只。
此后，为应备倭急需，又于水城建水师府，专设水师营，水师营以参将或游击统领，归登莱巡抚提调，这就是登莱水师的前身登州水师。
嘉靖二十五年至三十五年，登州水师共辖水军五营，即水左营、水右营、水中营、水前营和水后营。
每营设领兵官一人，每营两哨，每哨设哨官一人，每哨配备福船二艘、海苍一艘、艨艟二艘。
这样一来，登州水师共五营十哨，拥有大小战船五十艘，官兵三干余人。
平时，除中营专司严守水城基地外，其余四营各以一哨出海巡洋，其余在港内休整训练，亦即常年有四哨二十艘战船在海疆巡防。
明水军编制，在单船之上有“帮”，“每十只为一帮”。
帮之上有“舟宗”，据《明史兵志》记载，“修饬海舟，大小相比，或百或五十联为一舟宗”。
各分属沿海各水寨，每寨至少一腙计有福建五水寨、浙江宁海六总寨、山东莱州八总寨等，全国共计48个水寨此外，沿海每百户所和巡检司还各配备战船2条，每千户所10条，每卫50条。
到了隆庆年间，魏广德入阁后，深感山东卫所大量战船分散，故将其中整个登莱附近卫所所有海船全部调入蓬莱水城，这才有了现在的登莱水师，驻泊地为蓬莱水城。
蓬莱水城又称登州水城、登州备倭城，是明洪武九年，为了保护作为海路枢纽的登州城，免遭当时活跃的倭寇和高丽海盗袭击，于是在宋代供战船停泊的刀鱼寨基础上，建造的设施完备的军事要塞。
虽然此时已经有了蓬莱水城，可和后世由右佥都御史、登莱巡抚孙元化打造的蓬莱水城相比，当然还是差上许多。
后世遗留下的蓬莱水城，实际上是在现在基础上进行了大规模改造，除了原本的夯土墙改造为夯土包砖外，部分明初城墙墙体也进行了大规模改造。
甚至，孙元化还在此地摹仿当时欧洲流行的棱堡，建造了部分炮台，使其真正从水城变成了海军基地。
当然，此时的大明并没有真正意义上的海军，只有水师。
虽然，在大部分人眼里，水师和海军，似乎是没有太大区别的，但实际上二者区别极大。
一般来说，水师是特指内陆江河湖海内活动的的军事舰船部队，大明施行的是卫所制，所以水营实际上也是依托于卫所，水营官兵本身就是卫所的军户。
水师，其实就是“临时”从卫所中抽调的军户组成的水军。
若是海军，则至少是独立于卫所之外组成的军事力量，能够担负独立外出进攻作战任务的，才叫海军。
我国历史上海军很少，基本上都是水军或者水师。
即便是曾经外出远海最远的三宝舰队，也不是单纯的军事舰船，里面包括军事舰船，但也很难称其为海军，其实属于护航船队。