国鉄の幹線用ディーゼル機関車としてＤＤ５１形式が活躍していました。この機関車は１０００ＰＳクラスのエンジンを２基搭載し、大きな出力を得ていました。一方、海外に目を向けると欧州などでは２０００～２７００ＰＳのエンジンを１基搭載したディーゼル機関車が活躍していました。高出力エンジンを搭載すれば、コスト面やメンテナンス面での削減、車輛重量軽減などのメリットがあります。しかし、当時の技術では２０００ＰＳ級のエンジンを製作した経験がなく、このエンジンに対応するトルクコンバータ（液体変速機）を設計、製造する事が出来ませんでした。
その中、国内のとあるメーカー（以下Ａ社）が液体式ディーゼル機関車の設計、製作で先進国の西ドイツのメーカーからライセンス契約を結び、エンジン、液体変速機を輸入し、試作ディーゼル機関車ＤＤ９１形式を昭和３７年に製造しました。３年ほど国鉄に貸し出され、試験を行いました。試験結果は良好で、イギリスなどにおいて同等の機関車が活躍している事から昭和４１年にＤＤ５４形式が登場しました。
１～３号機までは試作車で、各種試験の後４～４０号機までが登場しました。西ドイツメーカーとＡ社のライセンス生産となり、エンジン、変速機は日本側での設計変更、認められず、製造のみとなります。
車体は背の高いエンジンを収めるため箱型となりましたが、前面はくの字形状の欧州スタイルで、独特のスタイルとなっています。
ＤＤ５４形式の特徴として、エンジン、変速機は外国製ですが、その他の機器類などはＤＤ５１形式、ＤＥ１０形式と共通の部品が用いられています。
台車は山陰本線などの亜幹線に適したものとするため、動力台車はＤＥ１０形式と同じものとし、中間台車は１軸台車としています。これにより自重が約７０ｔもあるにもかかわらず、軸重を１４ｔとして入線を可能としました。
旅客列車の対応として、蒸気発生装置（ＳＧ）を搭載しています。このＳＧはＤＤ５１形式と同一のものです。
エンジンは西ドイツ製のＤＭＰ８６Ｚ（１８２０ps/１５００rpm）で、出力、耐久性には問題がない極めて優れたエンジンでした。このエンジンは何も問題はなかったのですが、ＤＥ１０形式などと部品の共通化を図る設計としたことで、減速機や推進軸などの設計が優良であったＤＤ９１形式とは大きく異なるものとなりました。
この設計変更を行った推進軸と液体変速機で後に重大事故を引き起こすことになります。また、エンジンの出力を有効に使うため、西ドイツではボギー台車２組を使っていましたが、ＤＤ５４形式は軸重を抑えるため、ボギー台車の間に中間台車を組み入れた軸配置となりました。車内は片方にエンジンと変速機、もう片方に蒸気発生装置がそれぞれ配置されており、変速機から蒸気発生装置側の動力台車へは中間台車を超えて、推進軸が配置しており、この時点でエンジンの軽量高出力の利点は失われていました。
登場から２年後の昭和４３年、山陰本線を走行していた急行「おき」を牽引していたＤＤ５４　２が湖山駅通過中に推進軸が落下、破損した逆転機が地面に突き刺さり、脱線転覆。客車６両が脱線する重大事故が発生しました。この後もエンジンからの高出力に耐えられなくなった推進軸から出火するなどの事故や故障が相次ぎました。原因はＡ社の強度計算の設計ミスで、すぐさま推進軸強化、脱落事故防止対策が講じられました。
推進軸の事故は無くなりましたが、この対策により今度は液体変速機の故障が多発。液体変速機と対策を講じた推進軸の相性が完全に合わなくなっていたのです。この故障は国鉄のメンテナンス能力を超えたもので、高度な技術と時間を要する事が判明しました。
このような故障が発生すると現場では対応できず、Ａ社の担当者がいる工場へ回送しなければなりませんでした。また、構造などの不明な点を西ドイツのメーカーに問い合わせるも、回答が遅く、修理が進まない状況がＤＤ５４形式の信頼を失わせる結果になりました。
期待とは裏腹に、高価な最新鋭機に搭載された優秀な高出力エンジン、液体変速機のメンテナンスする技術力が国鉄にもメーカーにも不足していた事とライセンス契約に触れる恐れのある問題は連絡をせねばならず、改良などに手間と時間を要する事から、ＤＤ５４形式は失敗作となってしまいました。
山陰本線でお召し列車や寝台特急「出雲」などの牽引に活躍していましたが、昭和５３年に形式消滅。最長で車齢１０年、短い車輛は僅か４年１０か月と短い生涯を終えました。現在３３号機が唯一保存されています。