Perjalanan panjang pembinaan olahraga di Indonesia sudah dilakukan sebelum Kemerdekaan RI pada 17 Agustus 1945. Sejak tahun 1938, pemuda-pemuda Indonesia mendirikan Ikatan Sport Indonesia (ISI) yang berbentuk federasi. Pada masa awal didirikan, ISI beranggotakan Perserikatan Sepak Bola Indonesia (PSSI), Perserikatan Lawn Tenis Indonesia/Tenis Lapangan (Pelti), dan Perserikatan Bola Keranjang Seluruh Indonesia.
Dalam laman KONI disebutkan, ISI merupakan kelanjutan dari semangat perikatan sport Indonesia yang dikenal dengan Sportbond. ISI berusaha menghimpun kekuatan seluruh insan olahraga yang secara umum belum memiliki organisasi, namun sudah memulai berkomunikasi dengan Komite Olimpiade Asia.
Setiap tahun, ISI melakukan penyelenggaraan Sport Week sehingga membangkitkan persatuan serta persaudaraan masyarakat olahraga. ISI juga menunjukan jati diri bangsa Indonesia lewat pertunjukan olahraga yang melibatkan berbagai cabang olahraga dan eksis hingga saat ini.
ISI menjadikan kegiatan Pekan Olahraga (Sport Week) sebagai instrumen persatuan sehingga memenuhi kaidah perjuangan atau sebagai alat perjuangan. Organisasi ISI sebenarnya merupakan sarana untuk melakukan perjuangan bangsa Indonesia agar dihargai sebagai bangsa oleh Pemerintah Kolonial Belanda saat itu, baik dari aspek olahraga maupun pergerakan nasional, karena pendiri organisasi ini adalah Voolksrad (Dewan Perwakilan Rakyat Masa Pemerintah Kolonial).
Lima belas Oktober 1938 dikukuhkan sebagai tanggal berdirinya ISI sebagai organisasi olahraga yang mewadahi seluruh aspirasi perkumpulan olahraga. Tanggal tersebut juga merupakan momentum sejarah perjuangan bangsa Indoneisa lewat olahraga dengan menyelenggarakan pertandingan multi event.
Semangat membangkitkan olahraga digelorakan lagi setahun setelah Indonesia merdeka yakni pada 1946. Saat itu, Persatuan Olahraga Republik Indonesia (PORI) yang merupakan badan olahraga yang bersifat nasional dan Komite Olimpiade Republik Indonesia (KORI) dibentuk. Para pemimpin olahraga mantan pengurus ISI dan organisasi olahraga lainnya memberntuk PORI dan KORI pada Kongres Olahraga I di Surakarta.
Dua tahun kemudian dilaksanakan penyelenggaraan Pekan Olahraga Nasional (PON) I di Surakarta pada tanggal 9 September tahun 1948. Kemudian, PORI dan KORI membentuk delegasi untuk menghadiri Olympic Games XIV di London, namun gagal karena situasi politik di tanah air belum memungkinkan.
Pada tahun 1949, dilaksanakan Kongres PORI III, dengan keputusan induk organisasi mendapat hak otonomi dan PORI sebagai badan koordinator. Setahun kemudian pada 1950, PORI berganti nama menjadi Persatuan Olahraga Indonesia dan KORI diubah menjadi Komite Olimpiade Indonesia (KOI).
Awal Dibentuknya KONI
Pada 25 Desember 1965, dibentuk Sekretariat Bersama Induk-induk Organisasi Cabang Olahraga. Muncul gagasan untuk mengganti Dewan Olahraga Indonesia menjadi Komite Olahraga Nasional Indonesia (KONI) sebagai organisasi yang mandiri dan bebas dari pengaruh politik.
Surat Keputusan Presiden Nomor 143A dan 156A tahun 1966 mengukuhkan dibentuknya KONI sebagai pengganti Dewan Olahraga Indonesia (DORI). Badan baru ini tidak dapat berfungsi karena tidak didukung oleh Induk Organisasi Olahraga berkenaan situasi politik pada era tersebut.
Setelah Presiden Soeharto membentuk Kabinet Ampera, yang kemudian membubarkan Depora dan membentuk Direktorat Jenderal Olahraga di bawah Kementerian Pendidikan dan Kebudayaan.
KONI (baru) dibentuk oleh Induk Organisasi Olahraga pada 31 Desember 1966 yang dipimpin oleh Sri Sultan Hamengkubuwono IX dan KOI diketuai oleh Sri Paku Alam VIII. KONI dikukuhkan dengan SK Presiden Nomor 57 Tahun 1967.
KONI adalah badan mandiri dan nonpemerintah, artinya kegiatan olahraga kembali kepada masyarakat. KONI berperan sebagai mitra yang membantu pemerintah di bidang olahraga, tidak dikendalikan kelompok kekuasaan dan bebas dari kepentingan politik.
KONI dan KOI bergabung menjadi satu dengan alasan efisiensi pada 1978, pengurusnya sama namun fungsi yang berbeda. KONI melakukan pembinaan di dalam negeri, KOI melakukan kegiatan dalam hubungan luar negeri. Ketua Umum KONI sekaligus Ketua KOI adalah Sri Sultan HB IX.
Selama kurun waktu 1978–2004 tidak banyak momentum yang mengubah konstelasi kelembagaan KONI. Dalam laman KONI tidak dipaparkan perubahan apa saja yang terjadi pada kelembagaan KONI pada periode waktu tersebut.
Pembentukan KONI didasarkan pada UU No. 3 tahun 2005 Pasal 36 dan 37. Dalam pasal 36 disebutkan: “Induk organisasi cabang olahraga membentuk suatu komite olahraga nasional yang bersifat mandiri. Komite Olahraga Nasional membantu pemerintah membuat kebijakan nasional dalam bidang pengelolaan, pembinaan, dan pengembangan olahraga prestasi pada tingkat nasional.”
Sementara, dalam pasal 37 disebutkan: “Pengelolaan olahraga pada tingkat provinsi dilakukan oleh pemerintah provinsi dengan dibantu oleh komite olahraga provinsi. Komite olahraga provinsi dibentuk oleh induk organisasi cabang olahraga provinsi dan bersifat mandiri.” (dari berbagai sumber)
