良岑安世は、桓武帝と百済王永継との間に生まれた一世源氏である。母は、くだらのこにきしようきょうと読む渡来人系の人であり、桓武帝の生母髙野新笠と同じく、朝鮮半島にルーツをもつ女性である。父の異なる兄のひとりに、藤原冬嗣がいる。子のひとりが、僧正遍昭。
彼については、永井路子『王朝序曲 誰か言う「千家花ならぬはなし」と』で、小説の登場人物としてははじめて知った。藤原北家内麻呂の真夏と冬嗣という息子たちと母を同じくして、しかし、父は異なる不思議な男の子。宮仕えに出た永継が桓武帝に寵されて産んだことは確かなのに、成年に達するまで皇族とも臣下とも弁別しがたい身分でいた。それが、良岑姓を与えられ、臣籍に降りてのちは、まるで栄達を遂げる冬嗣の影身に沿うように政権の中枢へ駆け上がり、さまざまな才を世に示していたという。
おかざき真里『阿吽』にも、安世は、鷹を連れた風雅な若い貴公子として登場している。