Pada awal berdirinya Balai Penjaminan Mutu Pendidikan (BPMP) Provinsi Sumatera Utara lebih dahulu dikenal dengan nama Balai Penataran Guru (BPG) Medan. BPG Medan ini memiliki tugas dan fungsi utama sebagai unit pelaksanaan teknis dalam peningkatan pendidikan melalui kegiatan pelatihan dan pendidikan. Dalam perkembangannya tahun ke tahun unit kerja ini telah mengalami beberapa kali perubahan. BPG Medan ini berdiri diatur dalam Keputusan Mendikbud RI Nomor 0116/0/1977 tanggal 23 April 1977 tentang Tata Kerja Balai Penataran Guru dan Tenaga Teknis Regional. Selanjutnya melalui Keputusan Mendikbud Nomor 0181/0/1979 tanggal 20 Agustus 1979 Balai Penataran Guru dan Tenaga Teknis Regional diubah menjadi Balai Penataran Guru. Struktur organisasi BPG Medan saat itu diatur menurut Keputusan Mendikbud Nomor 0203/O/1978 tanggal 23 Juli 1978, yang susunan organisasinya belum mencerminkan lembaga penataran karena belum tampak adanya tenaga fungsional. Dalam perkembangan selanjutnya, fungsi dan peranan BPG Medan semakin meningkat setelah terbit Keputusan Mendikbud Nomor 024/O/1991 tenggal 2 Mei 1991 tentang Struktur Organisasi dan Tata Kerja Balai Penataran Guru.

Seiring perubahan yang terjadi pada paradigma pendidikan dan tuntutan masyarakat terhadap peningkatan mutu pendidikan maka pemerintah pusat melalui Departemen Pendidikan Nasional menetapkan sistem, standart mutu dan standart proses pendidikan. Sehubungan dengan hal itu maka Departemen Pendidikan Nasional mengeluarkan surat Keputusan Mendiknas (KEPMENDIKNAS) nomor: 087/0/2003 tertanggal 4 Juli 2003 tentang Pendirian Lembaga Penjamin Mutu Pendidikan. Sejak diterbitkannya KEPMENDIKNAS tersebut maka BPG Medan secara resmi berubah menjadi Lembaga Penjamin Mutu Pendidikan (LPMP) Sumatera Utara.

Tanggal 26 Juni tahun 2020, LPMP Sumatera Utara kembali mengalami perubahan nama menjadi LPMP Provinsi Sumatera Utara, yang diatur berdasarkan Peraturan Menteri Pendidikan dan Kebudayaan Nomor 26 Tahun 2020 Tentang Organisasi dan Tata Kerja Kementerian Pendidikan dan Kebudayaan.

Pada tanggal 21 Maret 2022, LPMP Provinsi Sumatera Utara sesuai dengan Peraturan Menteri Pendidikan, Kebudayaan, Riset dan Teknologi Nomor 11 Tahun 2022 tentang Organisasi dan Tata Kerja Balai Besar Penjaminan Mutu Pendidikan (BBPMP) dan Balai Penjaminan Mutu Pendidikan (BPMP) berubah nama menjadi BPMP Provinsi Sumatera Utara. BPMP Provinsi Sumatera Utara merupakan unit pelaksana teknis setingkat eselon III.a di bidang penjaminan mutu pendidikan. BPMP berada di bawah dan bertanggung jawab kepada Direktur Jenderal Pendidikan Anak Usia Dini, Pendidikan Dasar, dan Pendidikan Menengah.

BPMP Provinsi Sumatera Utara dipimpin oleh seorang Kepala. Dari awal berdiri hingga saat ini UPT Kementerian Pendidikan, Kebudayaan, Riset dan Teknologi yang berkedudukan di Provinsi Sumatera Utara ini telah mengalami 7 kali pergantian Kepala. Saat ini BPMP Provinsi Sumatera Utara dipimpin oleh Bapak Drs. Irwan Safii, M. Pd dan didukung oleh satu orang Kasubbag Umum serta pegawai ASN dan PPNPN.