Sangens tekst tegner et levende billede af mandens liv. Han beskrives som en "skygge af en mand" og et "spøgelse af en mand", og han søger konstant efter mad og husly. Han er også hjemsøgt af minderne om sin fortid, og han er ude af stand til at undslippe følelsen af ensomhed og isolation, der følger med at være hjemløs.
Sangens titel, "Brown Arms in Houston," er væsentlig, fordi den understreger mandens hudfarve. I en by med en stor latinamerikansk befolkning tjener mandens brune arme som en påmindelse om hans outsiderstatus og den diskrimination, han udsættes for.
I sidste ende er sangen "Brown Arms in Houston" en kraftfuld og bevægende skildring af de kampe, som hjemløse står over for i USA. Sangen kaster lys over et ofte overset problem, og det opfordrer lytterne til at overveje menneskeheden og værdigheden hos dem, der er mindre heldige.