Pada awal berdirinya Lembaga Penjaminan Mutu Pendidikan (LPMP) Sumatera Utara lebih dahulu dikenal dengan nama Balai Penataran Guru (BPG) Medan. BPG Medan ini memiliki tugas dan fungsi utama sebagai unit pelaksanaan teknis dalam peningkatan pendidikan melalui kegiatan pelatihan dan pendidikan. Dalam perkembangannya tahun ke tahun unit kerja ini telah mengalami beberapa kali perubahan. BPG Medan ini berdiri diatur dalam Keputusan Mendikbud RI Nomor 0116/0/1997 tanggal 23 April 1977 tentang Tata Kerja Balai Penataran Guru dan Tenaga Teknis Regional. Selanjutnya melalui Keputusan Mendikbud Nomor 0181/0/1979 tanggal 20 Agustus 1979 Balai Penataran Guru dan Tenaga Teknis Regional diubah menjadi Balai Penataran Guru. Struktur organisasi BPG Medan saat itu diatur menurut Keputusan Mendikbud Nomor 0203/O/1978 tanggal 23 Juli 1978, yang susunan organisasinya belum mencerminkan lembaga penataran karena belum tampak adanya tenaga fungsional. Dalam perkembangan selanjutnya, fungsi dan peranan BPG Medan semakin meningkat setelah terbit Keputusan Mendikbud Nomor 024/O/1991 tenggal 2 Mei 1991 tentang Struktur Organisasi dan Tata Kerja Balai Penataran Guru.

          Seiring perubahan yang terjadi terhadap paradigma pendidikan dan tuntutan masyarakat terhadap peningkatan mutu pendidikan maka pemerintah pusat melalui Departemen Pendidikan Nasional menetapkan sistem, standart mutu dan standart proses pendidikan. Sehubungan dengan hal itu maka Departemen Pendidikan Nasional mengeluarkan surat Keputusan Mendiknas (KEPMENDIKNAS) nomor: 087/0/2003 tertanggal 4 Juli 2003 tentang Pendirian Lembaga Penjamin Mutu Pendidikan. Sejak diterbitkannya kepmendiknas tersebut maka BPG Medan secara resmi berubah menjadi Lembaga Penjamin Mutu Pendidikan (LPMP) Sumatera Utara. LPMP Sumatera Utara dalam perjalanan juga mengalami banyak perubahan organisasi dan tata kerja, hingga peraturan yang terakhir mengatur adalah Peraturan Mendikbud Nomor 14 Tahun 2015.

        LPMP Sumatera Utara merupakan Unit Pelaksana Teknis Kementerian Pendidikan dan Kebudayaan dan berada dibawah serta bertanggung jawab kepada Direktur Jenderal Pendidikan Anak Usia Dini, Pendidikan Dasar dan Pendidikan Menengah. LPMP Sumatera Utara memiliki tugas melaksanakan penjaminan mutu pendidikan dasar dan menengah di provinsi berdasarkan kebijakan Menteri Pendidikan dan Kebudayaan. LPMP Sumatera Utara dipimpin oleh seorang Kepala. Dari awal berdiri hingga saat ini LPMP Sumatera Utara telah mengalami 6 kali pergantian Kepala. Terhitung 6 Januari 2016 hingga Maret 2020, LPMP Sumatera Utara dipimpin oleh Bapak Afrizal Sihotang, S.T., M. Si. dan didukung oleh satu orang Kasubbag Umum, tiga orang Kepala Seksi serta 97 orang pegawai.