这句话字面的意思来看：
“素”是没有染过的白绸，“锦”是染过绚烂的绸子，“吾之素年，汝与锦时”的意思就是，在我一无所有，青涩单薄的时候，你给予了我你最绚烂的年华。
出处在于一首现代人的诗，内容是关于沧月的小说，诗歌全文如下：
无题诗
尔今此去予素时，谁人踏花拾锦年。
一枕秋霜铜镜寒，两行清泪布衾暖。
东隅采得鲛绡纱，桑榆无觅云锦帕。
长门不藏金屋娇，蜀山有负剑仙情。
绝尘未成飞天舞，恨极炼出骖龙诀。
上有浮云倾城怨，下有高塔落拓影。
终岁丝竹成枯槁，弦破肠青空对饮。
青丝微掩挽铜钗，纤手轻弄插紫玉。
暗匣鱼肠不轻出，幻花踯躅终迷惘。
谁栽晚香永阳坊，孰藏银针红尘伤。
吹花难忘紫衣缀，年少怎知素日狂。
牙板才唱黛眉低，蓝帕犹记旧时妆。
沉沙暗影织风雨，逝水一脉承江湖。
高楼相忘谁先忘，不料北邙相许迟。
兜鏊东南望山河，修罗西北护城池。
前世三千寂寞长，不知今生厮守短。
为伊消得红颜末，焚诗泪尽两不知。
尔今此去予素时，谁人踏花拾锦年：此句中含“素时”“锦年”，感叹追忆韶华的美好，物是人非的无奈。
