Γεννήθηκε το 1903 στο Καρλόβασι της Σάμου. Η οικογένειά του ήταν φτωχή κι έτσι άρχισε να εργάζεται από την τρυφερή ηλικία των 8 ετών, αρχικά σε μια καπνοβιομηχανία και αργότερα ως ξυλουργός.
Ξεκίνησε την καλλιτεχνική του σταδιοδρομία στα μέσα της δεκαετίας του 1920 ως τραγουδιστής σε μια ταβέρνα. Σύντομα, έγινε διάσημος στους συντοπίτες του για την εξαιρετική φωνή του, αλλά και για τα Σμυρναίικα που τραγουδούσε.
Το 1927 εγκαταστάθηκε στην Αθήνα και άρχισε να τραγουδάει επαγγελματικά σε γιορτές και πανηγύρια, μέχρι που τον ανακάλυψε ο Παναγιώτης Τούντας, κορυφαίος συνθέτης της εποχής και στέλεχος δισκογραφικής εταιρίας. Έτσι, την επόμενη χρονιά κυκλοφόρησαν οι πρώτοι δίσκοι του, με τραγούδια του Γιώργου Βιδάλη, που σημείωσαν μεγάλη επιτυχία («Το κουκλί της Κοκκινιάς», «Αράπης, μάνας γιος», κ.ά.).
Την περίοδο 1931 - 1932 δισκογράφησε την «Αρχόντισσα» του Ιάκωβου Μοντανάρη, που είναι το πρώτο τραγούδι χαρακτηρισμένο ως «αρχοντορεμπέτικο» (στην ετικέτα του δίσκου του). Την περίοδο 1930 - 1959 δισκογράφησε συνολικά 180 τραγούδια. Από αυτά που συνέθεσε, ξεχωρίζουν: «Περί πολιτικής» (1934), «Με μια τσαχπίνα μπλέχτηκα» (1934), «Κοντραμπατζήδες» (1935), «Ο Πίκινος» (1936), «Η μπόμπα» (1945), «Ανεμότρατα» (1946), «Μια που σέρνει το μαντήλι» (1947), «Σαρανταπέντε λεμονιές» (1947), «Ο φθισικός», «Φτωχομάνα Σμύρνη», «Πέργαμε», «Μπερδεύτηκα στα χάδια σου», «Ξένε μου στην ξενιτιά», «Αγγινάρα», «Μεγαλέμπορος» κ.ά.
Το 1934 παντρεύτηκε την τραγουδίστρια Άννα Παγανα, η οποία πέθανε το 1943. Πέντε χρόνια αργότερα, παντρεύτηκε τη δεύτερη σύζυγό του, τη στιχουργό Αλεξάνδρα Κυριαζή.
Ο Κώστας Ρούκουνας άφησε την τελευταία του πνοή στις 11 Μαρτίου του 1984, χτυπημένος από τον καρκίνο.