Keputusan ini memberatkan keuangan keluarganya – sebagai hakim ketua, ia menerima gaji 750 gulden yang terhitung besar pada masa itu, tetapi tidak banyak ditabung karena habis untuk donasi ke Sarekat Ambon dan ke beasiswa lamanya (Ambonsch Studiefonds).
Meskipun begitu, ia menjadi seorang pengacara yang cukup terkenal di Jawa Timur seusai berhasil mempertahankan hak lahan petani lokal dari pabrik gula, dan ia terpilih menjadi anggota Regentschapsraad (sejenis Dewan Perwakilan Rakyat Daerah tingkat Kabupaten) di Probolinggo tahun 1934.
Kemudian, ia menjadi anggota DPRD Provinsi Jawa Timur (Provinciale Raad) sampai tahun 1942. Johannes menjadi ketua umum pertama Jong Ambon setelah organisasi tersebut didirikan pada tahun 1936.
Ia juga turut serta dalam pemilihan umum anggota Volksraad mewakili Ambon pada tahun 1939 dengan kampanye yang berdasarkan sentimen nasionalisme, sambil membangun sejumlah cabang baru untuk SA. Namun, ia gagal meraih kursi karena dikalahkan seorang caleg keturunan bangsawan anggota Regentenbond. Johannes belakangan menjadi anggota Partai Indonesia Raya (Parindra).
Seusai pengakuan kedaulatan Indonesia melalui Konferensi Meja Bundar, Johannes berangkat ke Maluku untuk menjabat sebagai Gubernur de facto. Sebelum ia tiba, sempat terjadi pemberontakan Republik Maluku Selatan dan TNI meluncurkan suatu operasi di Kota Ambon, sehingga kota tersebut menjadi luluh lantak karena pertempuran.
