Masjid tertua di Daerah Istimewa Yogyakarta itu merupakan peninggalan Kerajaan Mataram, dibangun tahun 1587 di wilayah yang dulunya hutan Mentao, rimba hadiah Kerajaan Pajang kepada Kerajaan Mataram
Ki Ageng Pemanahan, ayahanda Raja pertama Mataram Panembahan Senopati, kala itu sedang dalam misi menyebarkan ajaran Islam di Nusantara dengan arahan sang guru Sunan Kalijaga, yang memintanya membangun masjid sebagai tempat ibadah sekaligus tempat kegiatan masyarakat.
Dalam misinya, dia berkelana melewati daerah Candi Prambanan dan bertemu dengan masyarakat yang mayoritas beragama Hindu. Keakraban dan persaudaraan mulai terjalin antara Hindu dengan Islam saat Ki Ageng Pemanahan dan masyarakat Hindu berogotong royong membuka rimba Mentao untuk membangun tempat ibadah.
Kebersamaan kembali terajut saat para penganut ajaran Hindu membantu warga Muslim membangun Masjid Gedhe. Warga muslim mendirikan masjid, dan warga Hindu membantu membangun gapura di halamannya. Kebersamaan itu yang membuat Masjid Kotagede Yogyakarta memiliki tembok pagar dan gapura serupa dengan Pura, tempat ibadah umat Hindu.
Dakwah Sunan Kalijaga
Pada masanya, Sunan Kalijaga menyebarkan ajaran Islam secara sederhana sehingga mudah dipahami oleh masyarakat Jawa. Ia antara lain menggunakan simbolisasi, dan itu antara lain tampak pada bangunan masjid, yang sarat makna dan filosofi.
Masjid Kotagede Yogyakarta memiliki pintu gerbang atau gapura, alih bahasa dari kata dengan huruf akar gho, fa dan ro dalam Bahasa Arab yang artinya berhubungan dengan mengampuni dan ampunan. Gapura digunakan sebagai simbol pintu ampunan. Riwayatnya, pintu gerbang Masjid Gedhe dijaga oleh seorang penjaga. Barangsiapa yang ingin masuk ke masjid dan mendapatkan ampunan, maka hendaknya ia membaca dua kalimat syahadat.
Ukiran gapura yang mirip dengan ukiran pura berhias beberapa ornamen, salah satunya adalah gambar topeng raksasa yang menyeramkan. Umat Hindu menyebutnya mangkoro, yang diyakini bisa menolak segala musibah dan bala.
Namun umat Muslim Mataram pada saat itu mengalihbahasakannya lagi ke bahasa Jawa dengan sebutan manungso angkoro, atau manusia angkara. Manusia yang penuh angkara atau sifat buruk seperti benci, dengki, amarah, serakah dan lainnya, dan semuanya harus dibersihkan ketika memasuki masjid.
Oleh sebab itu dibuatlah kolam bernama jagang untuk mencuci kaki saat masuk ke masjid. Kolam itu merupakan simbol sarana manusia menyucikan hati hingga bersih dari sifat-sifat angkara.
Pohon sawo kecik yang ditanam di sekitar pekarangan masjid pun punya makna. Jumlah pohon sawo kecik itu seluruhnya 17, sama dengan total jumlah rakaat shalat wajib lima waktu dalam sehari bagi umat Islam. Selain itu pohon sawo kecik disamakan dengan perumpamaan dalam bahasa Jawa sarwo becik yang artinya serba bagus.
Jadi apabila seorang muslim sudah melaksanakan 17 rakaat shalat wajib sehari semalam, maka harus seharusnya ia terlihat serba bagus, bagus akhlak, tutur kata, tingkah laku, raut muka, dan penampilannya.
Warisman, petugas pelayan Masjid Agung Kotagede Yogyakarta, mengatakan hingga saat ini masjid masih digunakan sebagai tempat ibadah dan kegiatan sosial masyarakat sekitar.
Bangunan masjid yang dominan kayu terbagi menjadi dua. Bagian dalamnya merupakan ruang ibadah, sementara bagian luarnya meliputi aula dan pekarangan yang biasa digunakan untuk bermacam kegiatan sosial masyarakat
"Kami sebagai pengurus masjid membagi masjid menjadi dua konsep, di dalam untuk habluminallah, di luar untuk habluminannas," kata Warisman, menggunakan kata bahasa Arab untuk hubungan dengan Allah dan hubungan dengan manusia.