Motospordiga tegi Toivo tutvust 1969. aastal ALMAVÜ ja „Kalevi“ Noorte Motokoolis, juhendajaks oli tal selle kooli looja Rein Reindov. Esmalt võistles ta motokrossiradadel, hiljem sai talle eriti südamelähedaseks mitmepäevasõit.
1977. aastal asus ta tööle Põlva Tehnikaspordi ülemana ja alustas võistlemist autorallis. Aasta hiljem hakati tema initsiatiivil Põlvamaal korraldama Lõuna-Eesti autorallisid. 1979. aastal võitis ta koos kaardilugeja Rein Sillastega Eesti NSV autoralli meistrivõistlustel 4. klassis ehk spetsiaalautode klassis pronksmedali.
Toivo oli aktiivne auto-motospordi kohtunik, pälvides 1980. aastal vabariikliku kategooria ja üheksa aastat hiljem üleliidulise kategooria kutsetunnistuse, olles paljude rallide direktor või peakohtunik.
Aastaid oli Toivo Kaldmäe FIM-i komissar ehk rahvusvahelise žürii liige nii meie vabariigis toimunud võistlustel kui ka MM-areenil, seda enduuros ja motokrossis. Toivo on kuulunud ka Eesti Autospordi Liidu juhatusse, oli kauaaegne Eesti Mootorrattaspordi Föderatsiooni enduurokomisjoni liige ja kuulus auto-motorrattaspordi kohtunike kogu nõukogusse.
Eesti Mootorrattaspordi Föderatsioon ja motorsport.ee avaldavad sügavat kaastunnet Toivo lesele, tütrele ja pojale nende peredega, lähedastele ja tuttavatele.
Toivo Kaldmäe ärasaatmine on 22. skp. kell 12 Tartu krematooriumi suures saalis.
