Setelahnya A.H Nasution mulai mengikuti sesi pelatihan di Akademi Militer Bandung.
A.H Nasution mendapat pangkat sebagai kopral Pada September 1940. Dan pangkatnya mulai dinaikkan menjadi sersan pada Desember 1940.
Lanjut, ia ditugaskan di gugus Batalyon 3 yang berkedudukan di daerah Kebalen, Surabaya setelah pendidikan militernya selesai.
Ketika Jepang mulai menyerang untuk berupaya mengambil alih kekuasaan Belanda atas Indonesia pada tahun 1942, A.H Nasution sebagai anggota Batalyon 3 dengan pangkat letnan muda ditugaskan mempertahankan Pelabuhan Tanjung Perak.
Akan tetapi pada saat itu A.H Nasution merasa bukan orang Belanda dan takut bisa-bisa dirinya ditangkap oleh pasukan Jepang.
Dengan begitu, ia pun akhirnya memilih untuk melarikan diri dari kesatuannya yang sudah mundur hingga ke Jember.