赵延义，字子英，是秦州人。他曾祖父赵省躬精通天文算术，因为躲避战乱跑到蜀地去了。他父亲赵温珪，在蜀王王建手下当司天监，经常给王建算吉凶，要是算得不准，就要挨王建的训斥。赵温珪临死前，告诫子孙说：“算命看相是我们家的老本行，但是我在乱世当官，得罪人差点儿没几次丢了性命！你们子孙要是能走别的路升官发财，就别干这行了。” 可是赵延义年轻的时候，也跟着他爹走这条路，在蜀地当了司天监。
蜀国灭亡后，赵延义又到唐朝当了星官。赵延义天文、地理、算命样样精通，而且特别擅长看相。契丹灭了后晋，赵延义跟着契丹人来到了镇州。李筠和白再荣正琢磨着赶走契丹人，回到汉朝，但是拿不定主意，赵延义就假装用算命的说法来支持他们。后来周太祖从魏州带兵打进了京城，周太祖把赵延义叫去问：“汉朝灭亡得这么快，是天数注定吗？”赵延义说：“当皇帝的治理天下，应该用仁义恩德去感化百姓，可是汉朝的法律太残酷，刑罚又滥用，天下老百姓都叫冤，这就是汉朝灭亡的原因啊！”
那时候，周太祖正带兵包围着苏逢吉、刘铢的家，想要诛灭他们全家，听了赵延义的话，吓了一跳，于是就赦免了他们的家族，两家人都因此保住了性命。后来，赵延义在周朝当上了太府卿、判司天监，最后因为生病去世了。
