Kota Cimahi dikenal sebagai kota Militer karena menjadi pusat pendidikan tentara Indonesia dan tentara Belanda sejak tahun 1934 sampai saat ini. Hal ini menjadi faktor pendorong meningkatnya jumlah penduduk di kota Cimahi dan bukti terwujudnya usaha tentara-tentara Belanda mendirikan Gereja Militer atau Gereja Christelyke Militer Thuis di kota Cimahi.

Sejarah GKP Cimahi dimulai pada tanggal 14 Desember 1947, melalui tiga keluarga yang dibaptis oleh Pdt. Yosua Anirun di GKP Jemaat Bandung, yaitu: Keluarga Bapak Tan Kiem Ciang, Sdr. Sabana dan Keluarga Ibu Sukarsih Kowsoleea. Pembaptisan terhadap tiga keluarga ini menjadi titik awal hidupnya GKP jemaat di Cimahi sebagai Pos Kebaktian dari GKP Jemaat Bandung. Setelah dibaptis, tiga keluarga tersebut melaksanakan kegiatan beribadah di toko “Marie” milik keluarga Tan Kiem Tjiang dan dilayani oleh Pendeta Yosua Aniroen bersama Majelis Jemaat GKP Jemaat Bandung.

Pelayanan yang dilakukan membuat benih-benih Injil yang ditaburkan mulai bertumbuh, yaitu hadirnya anggota dari sebuah gereja Tionghoa Kie Tok Kahwe dan bergabung dalam persekutuan di Cimahi. Anggota jemaat Pos Kebaktian Cimahi yang semula hanya berjumlah tiga keluarga berkembang menjadi tujuh keluarga sehingga rumah Keluarga Tan Kiem Tjiang tidak dapat menampung jumlah anggota jemaat untuk beribadah. Oleh sebab itu, tempat beribadah dialihkan ke rumah Tuan J.C. Yansen di daerah Cisangkan. Pada saat-saat itulah dibentuk pengurus yang pertama, yaitu: Bpk. Tan Kiem Tjiang, Sdr. Sinaga, Sdr. Sabana, Sdr. Ilun, Ny. J.C. Yansen dan Ny. Hillebrand.

Pada bulan Februari 1948, D. Ngapon datang ke Cimahi untuk mengikuti Pendidikan Juru Rawat di Militer Hospital dan bertemu dengan beberapa anggota jemaat dari Palalangon yang saat itu juga sedang bekerja di Cimahi, yaitu: J. Markum, J. Danci dan J. Pailan. Mereka memberitahukan bahwa di Cisangkan telah berdiri sebuah Pos Kebaktian GKP dan sepakat untuk ikut beribadah bersama, bahkan D. Ngapon turut melayani di Pos Kebaktian tersebut. Pelayanan yang dilakukan oleh D. Ngapon sangat baik sehingga jumlah anggota jemaat Pos Kebaktian Cimahi menjadi semakin meningkat.

Pada tanggal 3 Juni 1948, hadir seorang guru SD dari Cideres, yaitu L.N. Sarean yang dipindahtugaskan ke Cimahi untuk mengajar di Yuliana School. Kehadiran beliau turut membantu pelayanan Cimahi dalam hal kebaktian, kunjungan, paduan suara dan katekisasi. Dari waktu ke waktu, benih-benih pelayanan yang ditaburkan itu semakin hari semakin jelas bertumbuh sehingga ruang ibadah yang selama ini digunakan untuk beribadah tidak cukup menampung jemaat karena jumlah anggota jemaat yang meningkat pesat. Tempat kebaktian keluarga tengah minggu dilakukan di rumah Keluarga Ibu Supi De Hard di Rancabelut, Cimahi. Kebaktian Minggu secara bergantian dilakukan di rumah Keluarga Bpk. J.C. Yansen dan Ibu Supi de Hard.

Melihat situasi dan kondisi tersebut, maka Bapak L. N. Sarean dan Bapak Tan Kiem Tjiang bertemu dengan Bapak Van der Mij yang pada saat itu menjabat sebagai Majelis Jemaat Gereja Militer Thuis Kampement Weg untuk meminjam ruang beribadah untuk hari Minggu. Maka sejak tanggal 8 Januari 1949, kebaktian Minggu mulai dilakukan di Gereja Christelyke Militer Thuis, yang menjadi gedung gereja GKP Jemaat Cimahi sekarang.

Pada bulan Juni 1949, didirikan sebuah pos Kebaktian yang bertempat di Militer Hospital dan yang bertanggungjawab ialah Bapak L. N. Sarean dan Bapak A. Tahalele. Kemudian pada tanggal 4 September 1949 didirikan lagi pos Kebaktian di Gedung Chung Hwa Chung Hwie di Jalan Babakan Cimahi dan banyak orang-orang etnis Tionghoa yang ikut hadir beribadah.

Dengan meningkatnya jumlah anggota jemaat yang semakin hari semakin pesat, maka dibangunlah sebuah gereja di jalan Pacinan Pasar Atas, Cimahi dan diresmikan pada tanggal 10 Mei 1950 sebagai gereja Tionghoa Kie Tok Kahwe (Sekarang dikenal dengan GKI Jalan Pasar Atas). Mulai saat itu, orang-orang Tionghoa dan anggota jemaat GKP beribadah di gedung gereja tersebut.

Pada tanggal 23 Desember 1950, GKP Cimahi hadir beribadah pertama kali di gedung gereja peninggalan Belanda atau Christelyke Militer Thuis, yang secara simbolis ditandatangani oleh Bpk. L. N. Sarean. Berdasarkan moment persekutuan yang bersejarah inilah, maka tanggal 23 Desember 1950 dirayakan sebagai hari ulang tahun GKP Cimahi sebagai gereja yang mandiri.