Kota Makkah Al Mukaramah pada tanggal 17 Syawal 1371 H bertepatan dengan tanggal 22 Juli 1952 telah menjadi saksi didirikannya Persaudaraan Djama’ah Haji Indonesia (PDHI) oleh 31 orang jamaah haji Indonesia dari Kabupaten Bantul, Daerah Istimewa Yogyakarta yang dipimpin oleh KH. Mathori Al Huda. Dalam perkembangan selanjutnya, PDHI telah menyempurnakan anggaran dasarnya, kemudian diberikan status Yayasan dengan Akta Notaris No. 27 tertanggal 15 November 1977 dan didaftarkan pada Pengadilan Negeri Yogyakarta pada tanggal 19 Desember 1977 dengan Nomor 278/77.

Perkembangan selanjutnya,Yayasan PDHI melakukan penyempurnaan organisasi dengan akta notaris Umar Syamhudi, S.H., Nomor 40 Tanggal 23 Agustus 1991. Kemudian melakukan perubahan dengan nama Perkumpulan PDHI dengan akta notaris Hj. Pandam Nurwulan, S.H., M.H. dengan nomor 59 tanggal 31 Juli 2002.

Kegiatan yang dilaksanakan oleh Perkumpulan PDHI berorientasi pada aspek pemeliharaan ukhuwah islamiyah secara luas, usaha-usaha mencapai haji mabrur, pemanfaatan kemabruran ibadah haji dalam masyarakat, menggerakkan thalabul ’ilmi dan amal, pelopor kerja-kerja kolektif dan amal jariyah, tidak mencampuri urusan politik dengan menitikberatkan pada persoalan kerohanian.

Rumah Sakit Islam Yogyakarta PDHI (RSIY PDHI) adalah salah satu diantara amal usaha yang didirikan oleh Perkumpulan PDHI. Operasional pembangunan diamanahkan kepada Panitia Pembangunan yang dibentuk pada tanggal 1 Oktober 1992 dan dipimpin oleh Prof. Dr. dr. H. Rusdi Lamsudin, M.Med., Sc.,Sp. S. RSIY PDHI didirikan pada tanggal 2 April 1997 dan semula berbentuk Balai Pengobatan dan Rumah Bersalin (BPRB). Pembangunan ditandai dengan pemasangan tiang pancang pada tanggal 2 Agustus 1997 dan gedung rawat jalan pertama diresmikan oleh Sri Sultan Hamengkubuwono X pada tanggal 17 April 1999 (1 Muharam 1420 H), sedangkan operasional rumah sakit diresmikan oleh Sri Sultan Hamengkubuwono X  pada tanggal 6 November 2005 bertepatan dengan 4 Syawal 1426 H.

Balai Pengobatan dan Rumah Bersalin (BPRB) beralih menjadi Rumah Sakit dengan Surat Izin Penyelenggaraan Sementara Rumah Sakit Bupati Sleman No. 503/2723/DKS/2005 tanggal 9 September 2005, sedangkan operasional rumah sakit diresmikan oleh Sri Sultan Hamengkubuwono X pada tanggal 6 November 2005 bertepatan dengan 4 Syawal 1426 H. Pada tanggal 28 Juni 2011 mendapatkan Surat Izin Operasional Tetap Rumah Sakit Bupati Sleman No. 503/2374/DKS/2011.

Gedung UGD Baru diresmikan oleh Bupati Sleman, Drs. H. Sri Purnomo, M. Si pada tanggal 15 April 2012. Pada tahun itu pula, RSIY PDHI mendapatkan Akreditasi Penuh 5 Pelayanan dari Komisi Akreditasi Rumah Sakit (KARS).

Perkembangan selanjutnya, pada tanggal 4 Maret 2016, RSIY PDHI telah resmi menjadi Rumah Sakit Kelas C dengan Surat Ijin Operasional Bupati Sleman No. 503/1372/613/DKS/2016.

Pada tanggal 30 Desember 2016, RSIY PDHI mendapatkan predikat lulus paripurna akreditasi versi 2012 dari Komisi Akreditasi Rumah Sakit (KARS).

Selanjutnya, sejak tanggal 20 Januari 2017, RSIY PDHI berada di bawah naungan Yayasan Rumah Sakit Islam Yogyakarta PDHI sesuai Keputusan Menteri Hukum dan Hak Asasi Manusia Republik Indonesia Nomor AHU-0001205.AH.01.04 tahun 2017 tentang Pengesahan Pendirian Badan Hukum Yayasan Rumah Sakit Islam Yogyakarta PDHI.

Pada tanggal 10 April 2018, RSIY PDHI menerima penghargaan dari Majelis Upaya Kesehatan Islam Seluruh Indonesia (MUKISI) sebagai pelopor RS Syariah di Indonesia. Penghargaan diserahkan langsung oleh Ketua Majelis Ulama Indonesia (MUI), Prof. Dr. KH. Ma’ruf Amin kepada Direktur RSIY PDHI, dr. Widodo Wirawan, MPH pada acara 1st International Islamic Healthcare Conference and Expo di Jakarta Convention Center.

Selanjutnya, pada tanggal  4 Juni 2018, RSIY PDHI mendapatkan Sertifikat  dan Surat Keputusan No. 006.63.09/DSN-MUI/VI/2018 tentang Sertifikat Kesesuaian Syariah Rumah Sakit Islam Yogyakarta PDHI dari Dewan Syari’ah Nasional – Majelis Ulama Indonesia (DSN – MUI).

Di tahun 2019, tepatnya tanggal 2 Desember 2019, RSIY PDHI mendapatkan predikat lulus paripurna akreditasi versi Standar Nasional Akreditasi Rumah Sakit (SNARS) Edisi 1 dari Komisi Akreditasi Rumah Sakit (KARS).

Terakhir, pada November 2022, RSIY PDHI mendapatkan predikat paripurna akreditasi rumah sakit sesuai Standar Akreditasi Kemenkes (Starkes) Tahun 2022 dari Komisi Akreditasi Rumah Sakit (KARS).