劉遵義教授1964年以優異成績取得史丹福大學物理學理學士學位，並先後於1966年及1969年取得加州大學柏克萊分校經濟學文學碩士與哲學博士學位。他自1966年起任教于史丹福大學經濟系，1976年晉升為正教授，1992年出任該校首任李國鼎經濟發展講座教授，1992年至1996年間擔任史丹福大學亞太研究中心共同主任，1997年至1999年間擔任史丹福經濟政策研究所主任，2006年自史丹福大學退休並出任李國鼎經濟發展榮休講座教授。
2004年至2010年間劉教授擔任香港中文大學校長。2010年至2014年劉教授擔任中投國際（香港）有限公司（中國主權財富基金中國投資有限公司之全資子公司）董事長。自2007年起，劉教授兼任香港中文大學藍饒富暨藍凱麗經濟學講座教授。
劉教授專研經濟發展與經濟增長，以及包括中國在內的東亞經濟。最早之中國計量經濟模型是由他于1966年建立。劉教授著有專書16種，曾於國際學術期刊發表論文210多篇。
劉教授曾任中國人民政治協商會議第十一屆及第十二屆全國委員會委員及其經濟委員會副主任。劉教授現任中國國際經濟交流中心副理事長、國際歐亞科學院中國科學中心副主席、中國國家開發銀行國際顧問委員會成員及香港中文大學(深圳)高等金融研究院理事會理事長。此外，他也是香港金融管理局外匯基金諮詢委員會委員貨幣發行委員會、香港貿發局一帶一路及大灣區委員會委員、團結香港基金副主席及呂志和獎獎項推薦委員會委員及主席，以及臺北蔣經國國際學術交流基金會董事會成員。他也是香港友邦保險控股有限公司、中國海洋石油有限公司及中芯國際積體電路製造有限公司獨立非執行董事，以及台灣遠傳電信股份有限公司獨立非執行董事。