基本的には、米軍基地の外ではその国の警察が捜査権を持ち、これに憲兵隊が協力することになると思われます。容疑者が基地から逃走するような緊急の場合には基地憲兵隊も追跡を行うが、地元警察の指示に従って行動することになるでしょう。
で、よく問題となっている日米地位協定では、基地の外といえども米軍関係者が公務中の場合、裁判権は米軍の側にあるということになっていますが、このケースでは公務で外出したとはみなされないから、第一次裁判権及び刑事起訴並びに捜査に関する権限は日本側にあるということになります。
アリエフ

米国内か、米国外でも違うし、犯罪者が米軍人か民間人か
外国人かによっても違うように思われます。
少なくても犯人が米軍人で、米国内であれば憲兵が基地外で
捜査しても違法ではないでしょう。
また、米陸軍にはCIDという犯罪捜査部があるので、そちらが
捜査にあたることもできるでしょう。(他軍にも同様組織あり)
外国であれば、その国との地位協定によるものと思われます。
(この辺で犯人の所属によって処遇が違うのでしょう。)
ただ、憲兵隊に捜査権がある場合でも基地外に犯罪者が出た
場合は地元警察に協力を求めるのが普通のやり方のように
思えます。

自衛隊の警務隊も、自衛官の犯罪に関しては、基地外
でも警察権をもっているようですし、勤務中の自衛官
に対する犯罪に関しては、民間人に対する警察権を有
しているそうです。
ということは基地の外でも、勤務中の自衛官に犯罪を
起こせば基地外でも捜査できるということですね。
まあ、実際的には地元の警察主体で捜査することに
なるんでしょうが。

SAW

（補足）１にある捜査権とは、あくまでも捜査に関する指揮権、主導権の意味。あるいは司法警察職員の権限ということになるか。なお、一般の警官は司法警察職員の指揮・命令の下、捜査ないし犯人逮捕等の活動に当たります。
アリエフ