Taylor Swift daina „Guilty as Sin?“ gilinasi į sudėtingas troškimo ir kaltės emocijas, apipintas ryškiais vaizdiniais ir metaforiška kalba. Daina pradedama nuorodomis į Mėlynąjį Nilą ir „Downtown Lights“, nustatant gilaus emocinio ir geografinio tyrinėjimo toną. Swift naudoja šiuos simbolius, kad išreikštų jausmą, kad yra priblokšta ir pasimetusi savo jausmuose, siūlydama kelionę tiek tiesiogine, tiek metaforiška.
Dainos tekstai svyruoja tarp realybės ir fantazijos, kur Swift apmąsto veiksmus ir jų moralines pasekmes. Pasikartojanti eilutė: 'Kaip aš galiu būti kaltas kaip nuodėmė?' aprėpia pagrindinę dainos temą – kvestionuojančią kaltę, susijusią su neveiktomis mintimis. Swift pasakojimas grumiasi su mintimi apie psichinę neištikimybę ir jos teisėtumą kaip nuodėmę, naudojant ryškius scenarijus, tokius kaip „netvarkingas viršutinės lūpos bučinys“ ir „susitrenkimas į jį šį vakarą“, kurie atsiranda tik jos vaizduotėje. Šį vidinį konfliktą sustiprina visuomenės ir galbūt savęs primesti teisingumo ir moralės lūkesčiai.
Dainos pabaigoje Swift meta iššūkį pasmerkimui, su kuriuo ji tikisi susidurti, naudodama religinius vaizdus, pvz., „nukryžiuoti“ ir „šventa“, kad pabrėžtų savo emocinės suirutės intensyvumą. Dainos tekstai rodo nepaisymą tradiciniams moraliniams sprendimams, siūlydami, kad jos jausmų grynumas gali viršyti įprastinius moralės standartus. Šis drąsus pareiškimas, kad jos troškimai pasirenkami „religiškai“, rodo perėjimą nuo kaltės prie dvasinio išsivadavimo formos, pabrėžiant asmeninę moralės ir meilės prigimtį.