Xavier nacque a Vera de Bidasoa il 16 gennaio 1915, figlio dello scrittore e giornalista Javier Bueno (1883-1967).

Trascorse parte dell’infanzia in Spagna dove frequentò l’Accademia di San Fernando a Madrid con Velasquez Diaz, ma nel 1925 si trasferì con la famiglia a Ginevra dove si iscrisse, dopo aver frequentato il liceo, all’Accademia di Belle Arti.
Nel 1937 si trasferì a Parigi e presentò le sue opere, caratterizzate da una forte impronta di realismo “spagnolo”, al “Salon des Tuileries”, al “Salon d’Automne”, al “Salon des Indépendants” e al “Salon d’Art Mural”; inoltre espose al Padiglione Spagnolo della Mostra Universale di New York.
Nel gennaio del 1940 si trasferì in Italia, dove si unì insieme al fratello Antonio, a Pietro Annigoni e Gregorio Sciltian nel gruppo dei “Pittori Moderni della Realtà”.
L’esperienza della guerra civile spagnola prima e di quella italiana poi, indirizzò sempre più l’artista verso un realismo legato a motivi di forte contenuto sociale.
Alla fine degli anni quaranta, in concomitanza con la crisi del gruppo, i rapporti fra Xavier e il fratello Antonio cominciarono a mutare, dopo anni di percorso comune.
Dopo la separazione, la collaborazione tra i due andò man mano esaurendosi.
Emblematico è il ricordo di Xavier tracciato dal poeta Salvatore Quasimodo:
«Un’attenzione particolare meritano le nature morte di Bueno sollevate nello spazio senza fondo, in cui gli spessori sono creati dal ritmo degli oggetti, sottratti ad una assenza metafisica.»
Tra il 1959 e il 1964 Xavier creò il ciclo dei “Bambini”, immagini sofferenti e malinconiche opere simboliche di un’umanità avvilita ed oppressa, che l’artista presentò alla rassegna “España libre”.

Il 17 luglio 1979 morì nella sua adottiva Fiesole.