Compay Segundo naît à Siboney (en), au bord de la mer, près de Santiago de Cuba où il grandit ensuite. Son père était employé par la compagnie des mines comme conducteur de locomotive.

Il apprend à jouer très jeune du tres et de la guitare avec ses frères. À l'âge de 14 ans, il reçoit des leçons de solfège avant d'être intégré comme clarinettiste dans la fanfare municipale de Santiago de Cuba. Il joue également des bongos.

À quinze ans, il compose sa première chanson Yo vengo aquí. Il devient un chansonnier, musicien et chanteur bien connu des aficionados de son cubain.

Il a inventé l'armónico, une sorte de guitare à sept cordes, dérivé du tres.

En 1934, Ñico Saquito, célèbre musicien de l'époque, le remarque et lui demande de se joindre à son Cuarteto, avec lequel il part pour La Havane. En 1936, il part au Mexique comme membre du Cuarteto Hatuey, emmené par Evelio Machin (frère du chanteur Antonio Machin). Il y reste six mois et enregistre ses premiers 78 tours. À son retour, Francisco Repilado enregistre pour la firme RCA-Victor, avec le Trío Cuba.

En 1940, Miguel Matamoros, originaire lui aussi de Santiago, engage Francisco Repilado dans son groupe, comme clarinettiste.

Maniant avec la même virtuosité le son et l'humour dans une veine proche du Trio Matamoros, il acquiert une renommée durable à Cuba et dans tout le monde hispanophone aux côtés de Lorenzo Hierrezuelo (en) dans le duo Los Compadres (en) entre 1942 et 1955.

Hierrezuelo fait la voix principale et la guitare d'accompagnement, Repilado fait la seconde voix d'où le surnom de Compay Segundo (compère second) et la guitare soliste avec son armónico. L'émission de radio quotidienne de Los Compadres est écoutée dans toute l'île, et même dans la voisine République dominicaine. Leur style où les proverbes, les traits d'humour, et les allusions gaillardes dominent les rend populaires auprès des gens humbles, dans les campagnes comme dans les villes. Los Compadres permet aussi à Repilado de populariser ses compositions : la mélodramatique Huellas del pasado, la sentimentale Macusa, inspirée par un amour de jeunesse, ou l'ironique 'Vicenta.

En 1955, une brouille met fin à la collaboration entre les deux hommes. Lorenzo Hierrezuelo appelle à ses côtés son frère cadet Reynaldo et les Compadres poursuivront leur carrière jusqu'au milieu des années 80. Compay, de son côté, prend du recul avec la musique et retrouve son emploi de « tabaquero » (fabricant de cigares) .

En 1970, l'année de sa retraite, Compay reprend la musique et « el armónico », réunit un groupe de musiciens, et entre de nouveau au studio afin d'enregistrer un disque. Il retourne un temps à Santiago ou il crée le Cuarteto Daiquiri, et joue avec le fameux Cuarteto Patria.

En 1988, il participe au festival organisé par le Smithsonian Institute de Washington et le musicologue cubain Danilo Orozco, en tant qu'invité spécial du Cuarteto Patria (qu'il rejoindra à l'invitation d'Eliades Ochoa), et interprète pour la première fois « Chan Chan » qui devient vite un classique du son cubain.

En 1992, il enregistre 3 titres en duo avec Pablo Milanés, le plus célèbre chanteur cubain de la Nueva Trova, sur l'album de ce dernier, Años III (Egrem).

En 1994 il parcourt l'Europe avec son quartet « Compay Segundo y sus Muchachos » avec Benito Suárez (guitare), Hugo Garzón (chanteur et maracas) et son fils Salvador Repilado (contrebasse). Il participe à la rencontre « Flamenco y Son cubano » à Séville au mois de juillet puis enregistre un CD aux îles Canaries.

En 1995 il fait sa première tournée en France et en Belgique et enregistre à Madrid son Antologia, un double CD avec 34 chansons, écrites pendant la période allant de 1922 et 1994.

Ses albums Yo Vengo Aquí (1996) et Calle salud (1999) seront disque d'or.

En 1997, la sortie de l'album Buena Vista Social Club produit par Ry Cooder (accompagné d'un documentaire de Wim Wenders en 1999) révèle mondialement sa personnalité attachante et son talent. Il joue des congas aussi.

Le 18 novembre 1997, à l'occasion de ses 90 ans, il reçut la Orden Félix Varela, plus haute distinction honorifique du monde des arts à Cuba. Il disait souvent qu'il vivrait jusqu'à l'âge de 115 ans, en fumant un puro (cigare) par jour^{[réf. nécessaire]}, mais il meurt à l'âge de 95 ans, à La Havane. Il est enterré au cimetière de Santiago de Cuba.

Ecouter CHAN CHAN chanté en concert par toute la clique.