"Yellow" a fost scrisă într-un studio Rockfield din Țara Galilor. Studioul se numește Quadrangle. Acesta este locul unde Coldplay a început să lucreze la primul lor album, Parachutes. Într-o noapte, după ce a terminat de înregistrat "Shiver", single-ul principal al albumului, trupa a luat o pauză și a ieșit din studio. Afară, erau puține lumini aprinse, iar stelele de pe cer erau vizibile și "pur și simplu uimitoare", potrivit coproducătorului piesei, Ken Nelson. Acesta le-a spus celor din trupă să se uite la stele. Trupa s-a uitat la stele și s-a simțit în general inspirată. Melodia principală a cântecului i-a venit în minte lui Chris Martin, vocalistul trupei. Melodia era un model de acorduri. La început, Martin nu a luat-o în serios "în timp ce transmitea melodia celorlalți membri ai trupei cu cea mai proastă voce a sa de imitație a lui Neil Young". Martin a declarat: "Melodia avea cuvântul "stars" (stele), iar acesta părea un cuvânt pe care ar trebui să-l cânți cu o voce de Neil Young". Melodia "a început mult mai lent", potrivit lui Will Champion, toboșarul trupei, și suna ca un cântec al lui Neil Young. Nu după mult timp, în ciuda faptului că nu a luat cântecul în serios, ideea lui Martin a funcționat atunci când a dezvoltat tempo-ul versului. Când Jonny Buckland, chitaristul trupei, a început să cânte și a adăugat la el propriile idei, creaseră riff-ul, "și a devenit puțin mai greu".
În timp ce compunea versurile cântecului, însă, Martin nu a reușit să găsească cuvintele potrivite. Se gândea la un cuvânt specific care să se potrivească cu ideea principală și tema cântecului. El credea că acest cuvânt lipsă era un cuvânt cheie în versuri. S-a uitat prin studio și a găsit în directorul de telefon Pagini Galbene. Mai târziu, Martin a intitulat cântecul "Yellow" ca o referință la acest director. Dar, potrivit lui, "Într-un univers alternativ, acest cântec ar putea fi numit "Playboy"". Versurile au progresat de acolo, cu colaborarea trupei. Basistul trupei, Guy Berryman, a venit cu versul de început "Look at the stars". În acea noapte, după ce a compus rapid cântecul, trupa l-a înregistrat.