南北朝末年，隋文帝杨坚夺取了北周的政权，改国号为隋，自立为帝，建都大兴，即今西安。当时，长江以南，还是南朝陈后主陈叔宝的天下。为了南北统一，隋文帝兴师南下攻伐南陈。
据《南史•陈本纪》载，隋文帝曾对仆射高顈（隋时仆射略同于宰相）说：“我身为百姓父母，难道可以被一衣带水阻隔而不出手相助吗？”
“限”，指阻隔。“一衣带水”，形容一条窄窄的河流，犹似一根衣带。隋文帝自比为百姓父母，宣称他的南征是出于救民水火的考虑。他说：一条长江怎能阻挡得了我！难道因为隔了这“一衣带水”我就不能拯救他们了吗？
北宋初年，将领潘美也曾说过类似的话。当时，宋太祖赵匡胤派遣潘美为统帅，攻取江南的吴越（今浙江和江苏的部分地区，国都杭州，吴越王钱镠）。据《宋史•潘美传》记载，起初，宋军缺少渡江船只，但潘美信心十足，他说：“我受皇上之命，统领数万精兵，决心必胜，难道因为这‘一衣带水’而不敢直接渡江吗？”
这里说的“一衣带水”，也是指长江，强调其并不宽阔，容易渡过。
后来，“一衣带水”演变成了一个成语，泛指江河湖海等水域隔阻并不能成为阻碍。比如，形容中朝两国人民亲密无间，交往便利，不过是“一衣带水”而已。