Од августа 2006. године до децембра 2007. године, Хавијер Клементе водио је Србију као први селектор. Баскијац је неуспешно завршио квалификације за Европско првенство 2008. године, иако је, како је сам рекао, имао одличан тим.
Објаснио је због чега је то било тако, као и како је он доживео менталитет српских фудбалера.
„Имао сам одличан тим. Али, проблем је што је био српски. Срби су добри против јаких, али презиру слабије. У квалификацијама смо играли добро против Португалије и Пољске. Нико од њих није нас победио. Али, просули смо бодове против Казахстана! А, Срби су говорили како можемо да играмо против њих, јер су они веома лоши. Одиграли смо добро, нисмо губили од јаких, победили смо Финску и изгубили од Белгије 3:2. А, онда смо елиминисани против Казахстана. Е, то су Срби“, рекао је „Мали Наполеон“ у разговору за шпанске медије поводом документарца "Клементеова Шпанија" који је недавно објављен.
Човек који се прославио водећи Атлетик Билбао, присетио се и како је стигао до Србије. То је тек посебна прича...
„Дошао сам таксијем. Пре тога сам пао са бицикла и сломио четири ребра и кључну кост. Ребра су ми пробила плућа и нисам смео да путујем авионом. Зато сам прешао 2.500 километара таксијем. Мислим да ме је то коштало око 60.000 пезета (око 45.000 динара тадашњег новца, можда и мало више“, рекао је Хавијер Клементе.