Karierę polityczną rozpoczął już po ukończeniu szkoły średniej. W 1953 roku wstąpił do Unii Chrześcijańskich Demokratów, z której ramienia w 1969 roku został premierem landu Nadrenia-Palatyn, a w 1982 kanclerzem RFN. Jako kanclerz Kohl był zwolennikiem zacieśniania integracji europejskiej. Jemu zawdzięcza się podpisanie przez Niemcy układu z Schengen w 1985 roku, a także traktatu z Maastricht tworzącego Unię Europejską w roku 1992.

Po obaleniu muru berlińskiego Khol przedstawił program reform, które doprowadziły do połączenia RFN i NRD.

Kohl zniknął z życia publicznego po 2000 r., podczas wybuchu afery wokół nielegalnego finansowania CDU. Jego następczynią na fotelu szefa partii wówczas został Angela Merkel.