軍令部は海軍という組織の中枢、そして海軍省は海軍を管轄する官庁だと思います。今で言えば幕僚監部と防衛庁？

軍令部は海軍の軍令、海軍省は海軍の軍政を携わる機関です。両者はある意味で並立組織ですね。