Setibanya Johannes, ia mulai memperbaiki sistem pemerintahan di bekas medan perang tersebut dengan merekrut bekas anggota Sarekat Ambon dan sejumlah mantan pegawai negeri zaman Belanda untuk mengisi lowongan-lowongan di pemerintah provinsi. Daerah “Maluku Selatan” juga dihapuskan dan digantikan dengan dua kabupaten: Maluku Tengah dan Maluku Tenggara.
Pada masa jabatannya, Maluku tengah dilanda perang. Keadaan darurat militer berlangsung sampai tanggal 30 Juli 1952, dan setelahnya keadaan darurat militer ini dicabut sehingga tersisa keadaan perang di Ambon dan Pulau Seram saja. Selagi menjabat sebagai gubernur, Johannes mencoba untuk mencabut status keadaan perang ini secara menyeluruh.
Johannes menjabat sebagai gubernur sampai tahun 1955. Karier Johannes sebagai gubernur berhenti karena pecahnya koalisi antara PIR dan Kabinet Ali Sastroamidjojo I. Karena PIR bukan lagi partai pemerintahan, PNI dan Masyumi meminta agar Johannes digantikan orang lain. Pada akhirnya, ia digantikan dengan Muhammad Djosan, politisi Partai Sosialis Indonesia, dan digeser menjadi staf di Kementerian Dalam Negeri.
Johannes meninggal dunia pada tanggal 8 November 1959 di Rumah Sakit Umum Pusat Nasional Dr. Cipto Mangunkusumo, Jakarta Pusat. Ia sebelumnya jatuh koma sebelum berangkat ke gereja pada 6 November, sepulangnya dari kunjungan kerja ke Riau. Menurut biografer I.O. Nanulaitta, pekerjaan Johannes di Kemendagri tidak memuaskan batinnya dan menciptakan tekanan psikologis.
