Γεννήθηκε και μεγάλωσε στην Καισαριανή ενώ ξεκίνησε να εργάζεται τσαγκάρης. Η συνάντησή του το 1966 με τον Μίκη Θεοδωράκη άλλαξε την πορεία της ζωής του, με αποτέλεσμα να βρεθεί στους μεγαλύτερους συναυλιακούς χώρους της τότε Σοβιετικής Ένωσης, της Ευρώπης και της Αμερικής και να ερμηνεύει στίχους του Άγγελου Σικελιανού, του Γιάννη Ρίτσου και του Γιώργου Σεφέρη υπό την καθοδήγηση του Μίκη Θεοδωράκη. 

Ερμήνευσε επίσης τραγούδια του Θεοδωράκη, του Μάριου Τόκα, του Τάκη Μουσαφίρη και του Αργύρη Κουνάδη. Συνεργάστηκε με τη Βίκυ Μοσχολιού στον δίσκο του Δήμου Μούτση Συνοικισμός Α, που κυκλοφόρησε το 1972 και με την Άλκηστη Πρωτοψάλτη στον δίσκο του Ηλία Ανδριόπουλου Γράμματα στο Μακρυγιάννη, που κυκλοφόρησε το 1979.

το 1967, έφυγε στο εξωτερικό μαζί με την Μαρία Φαραντούρη και δημιούργησε λαϊκή ορχήστρα, με την οποία έδωσαν συναυλίες που είχαν καθαρά πολιτικό χαρακτήρα.

Το 1970 αποφυλακίστηκε ο Μίκης Θεοδωράκης και μαζί έδωσαν περισσότερες από 500 συναυλίες σε Ευρώπη, Αμερική και Αυστραλία, κάνοντας γνωστή την πολιτική κατάσταση που επικρατούσε τότε στην Ελλάδα. Το 1972 ο Καλογιάννης επέστρεψε στην Ελλάδα και τραγούδησε σε αρκετές μπουάτ στην Πλάκα. Ξεχωριστές στιγμές στην σταδιοδρομία του υπήρξαν η ηχογράφηση του «Πνευματικού Εμβατηρίου» του Άγγελου Σικελιανού και το «Κατάσταση Πολιορκίας» το 1970 μαζί με τη Μαρία Φαραντούρη, καθώς και του «Ήλιος και Χρόνος / Επιφάνεια Αβέρωφ» το 1975. Η δεκαετία του 1980, ξεκίνησε με τον δίσκο των Μίμη Πλέσσα – Δημήτρη Χριστοδούλου Τραγούδια της γειτονιάς (1980), που μάλλον έκλεισε την προηγούμενη δεκαετία. Με τον επόμενο δίσκο του (Τα σημερινά/1981), ο Αντώνης Καλογιάννης πραγματοποίησε την στροφή του στο ερωτικό τραγούδι, όπου και καθιερώθηκε ως ένας ερωτικός τραγουδιστής. Με τα χρυσά σε πωλήσεις, Σημερινά, του Σπύρου Παπαβασιλείου και του Λάκη Τεάζη, ο Καλογιάννης άνοιξε την πιο εμπορική δεκαετία της σταδιοδρομίας του με το τραγούδι (μεγάλη του επιτυχία) «Όμορφή μου Κατερίνα». Τα επόμενα χρόνια ακολούθησαν και άλλες μεγάλες επιτυχίες, όπου ο τίτλος τους παρέπεμπε σε γυναικεία ονόματα . Απεβίωσε στις 11 Φεβρουαρίου 2021 από ανακοπή καρδιάς