Badan yang bergerak dalam bidang sosial kemanusiaan ini sudah ada sejak era penjajahan. Pada 21 Oktober 1873, Pemerintah Kolonial Belanda mendirikan palang merah di Indonesia dengan nama Het Nederland-Indiche Rode Kruis (NIRK). Seiring berjalannya waktu, nama ini berubah menjadi Nederlands Rode Kruiz Afdelinbg Indie (Nerkai).
Keinginan masyarakat Indonesia untuk mendirikan palang merah sendiri muncul kemudian. Pada 1932, dua orang Indonesia bernama dr RCL Senduk dan Bahder Djohan membuat proposal yang diajukan ke Nerkai.
Namun, usulan mereka berdua ditolak, hingga Pada masa pendudukan Jepang, secara resmi badan ini dibubarkan. Proposal kembali diajukan, namun hasilnya nihil karena rencana itu ditolak lagi. Baru setelah proklamasi kemerdekaan, ada rencana pembentukan lagi oleh Presiden Soekarno untuk membentuk itu.
Rencana matang setelah proklamasi Proklamasi Kemerdekaan menjadi langkah awal pijakan Indonesia untuk bernapas bebas tanpa belenggu rezim penjajah. Pada 3 September 1945, Soekarno mempunyai gagasan untuk membentuk Palang Merah Nasional. Menteri Kesehatan dr Buntaran Martoatmojo mendapat mandat untuk melakukan pembentukan itu. Palang Merah Nasional diharapkan bisa menunjukkan kepada dunia internasional bahwa Indonesia telah berdaulat bebas pasca-proklamasi 14 Agustus 1945.
Akhirnya, Buntaran membentuk panitia untuk mematangkan rencana ini yang terdiri dari lima dokter, yaitu dr R Mochtar, dr Bahder Johan, dr Joehana, Dr Marjuki, dan dr Sitanala. Merekalah yang mempersiapkan pembentukan badan kemanusiaan ini. Pada 17 September 1945, Palang Merah Indonesia (PMI) terbentuk. Wakil Presiden Mohammad Hatta menjadi ketua pertama dari badan kemanusiaan ini. Sampai dengan saat ini, peristiwa itu dikenal sebagai Hari PMI.
Karena dalam satu negara hanya memperbolehkan satu perhimpunan, maka setelah Konferensi Meja Bundar (KMB) dan pengakuan kedaulatan oleh Belanda, Pemerintah Belanda membubarkan Nerkai. Aset Nerkai diberikan ke PMI melalui acara serah-terima. Pihak Nerkai diwakili oleh dr B Van Trich sedangkan dari PMI diwakili oleh dr Bahder Djohan. PMI terus melakukan pemberian bantuan hingga akhirnya Pemerintah Republik Indonesia Serikat mengeluarkan Keputusan Presiden Nomor 25 tanggal 16 Januari 1950 dan dikuatkan dengan Keppres Nomor 246 tanggal 29 November 1963. Pemerintah Indonesia pun mengakui keberadaan PMI.
Adapun tugas utama PMI berdasarkan Keppres RIS Nomor 25 Tahun 1950 dan Keppres RI Nomor 246 Tahun 1963 adalah untuk memberikan bantuan pertama pada korban bencana alam dan korban perang sesuai dengan isi Konvensi Jenewa 1949. Pada 15 Juni 1950, keberadaan PMI diakui oleh Komite Palang Merah Internasional (ICRC). Setelah itu, PMI diterima menjadi anggota perhimpunan nasional ke-68 oleh Federasi Internasional Perhimpunan Palang Merah dan Bulan Sabit Merah (IFRC) pada Oktober 1950. PMI saat ini Seseuai dengan keputusan PP PMI No: 176/KEP/PP PMI/X/2010, Markas Pusat PMI memiliki 14 divisi/biro/unit yang meliputi. Sebanyak 14 divisi/biro/unit itu yaitu: Divisi Kelembagaan, Divisi Penanggulangan Bencana, Divisi Kesehatan, Divisi Relawan, Divisi Kerja sama dan Pengembangan Sumber Daya, Biro Perencanaan dan Hukum, Biro Kepegawaian, Biro Keuangan. Kemudian Biro Umum, Biro Humas, Unit Pendidikan dan Pelatihan, Unit Poliklinik, Unit IT, dan Unit Satuan Kerja Audit Internal. PMI telah berdiri di 33 Provinsi, 371 Kabupaten/Kota dan 2.654 Kecamatan (data per-Maret 2010). PMI sendiri telah mempunyai sekitar 1,5 juta sukarelawan di Indonesia. PMI yang ada di Sumatera Utara terbentuk antara lain :
- PMI sumatera Utara dibentuk pada tanggal 24 Maret 1964 oleh Ketua Pertama Bapak PR Telaumbanua
- Ketua Kedua Bapak Brigjen Marah Halim Harahap
- Ketua Ketiga Bapak Mayjen EWP Tambunan
- Ketua Keempat Bapak Arnold Simanjuntak
- Ketua Kelima Bapak Drs. Alimudin Simanjuntak
- Ketua Keenam Bapak Drs. Pieter Sibarani (1995 – 2000)
- Ketua Ketujuh Bapak Drs. H. Kasim Siyo (2006 – 2011)
- Ketua Kedelapan s/d saat ini Bapak DR. Rahmat Shah (2011 s/d 2021)