Agus Salim disekolahkan di sekolah elit Belanda ELS (Europeesche Lagere School) dan HBS (Hogere Burger School). Dua jenjang sekolah tersebut merupakan lembaga pendidikan Pemerintah Kolonial yang eksklusif ditujukan bagi kalangan bangsa Eropa dan Timur Asing di Hindia Belanda. Kalau pun ada dari kalangan bumiputra, biasanya mereka berasal dari keluarga pejabat tinggi.
Agus Salim menempuh pendidikan awal di ELS Riau, kemudian dilanjutkan ke HBS di Batavia. Sewaktu duduk di HBS, Agus Salim tercatat sebagai pelajar terbaik HBS se-Hindia Belanda. Dengan begitu, putra kelahiran Minang ini mampu melampaui prestasi kawan-kawan Eropa-nya. Hal tersebut tidaklah mengherankan karena Agus Salim terbukti memiliki talenta yang luar biasa. Salah satunya adalah mampu menguasai sejumlah bahasa asing (poliglot).
