Improving Prosody for Cross-Speaker Style Transfer by Semi-Supervised Style Extractor and Hierarchical Modeling in Speech Synthesis

Chunyu Qiang, Peng Yang, Hao Che, Ying Zhang, Xiaorui Wang, Zhongyuan Wang

Kwai, Beijing, P.R. China

Model Architecture

Style Transfer

Comfort

Source Speaker	Target Speaker	Disentangling	Bottleneck	Proposed
Target text 1 "随缘不是得过且过因循苟且，而是尽人事听天命。"
Target text 2 "没有口水与汗水就没有成功的泪水。"
Target text 1 "随缘不是得过且过因循苟且，而是尽人事听天命。"
Target text 2 "没有口水与汗水就没有成功的泪水。"

---

Happy

Source Speaker	Target Speaker	Disentangling	Bottleneck	Proposed
Target text 1 想到这我躲在被窝里偷偷的笑出了声来。"
Target text 2 "看到这情景，我乐在地上翻了个跟头。"
Target text 1 想到这我躲在被窝里偷偷的笑出了声来。"
Target text 2 "看到这情景，我乐在地上翻了个跟头。"

---

Sad

Source Speaker	Target Speaker	Disentangling	Bottleneck	Proposed
Target text 1 他们没有过上一个好年，真是太悲催了。"
Target text 2 "你太强大了，我都要被你活活折腾死了。"
Target text 1 他们没有过上一个好年，真是太悲催了。"
Target text 2 "你太强大了，我都要被你活活折腾死了。"

---

Surprised

Source Speaker	Target Speaker	Disentangling	Bottleneck	Proposed
Target text 1 这里到底发生了什么，回答我啊。"
Target text 2 "啊？你竟然对他不尊重到了这种地步。"
Target text 1 这里到底发生了什么，回答我啊。"
Target text 2 "啊？你竟然对他不尊重到了这种地步。"

---

Style Strength Control

Comfort

Source Speaker	Target Speaker	Scale = 0.5	Scale = 1.25	Scale = 2
Target text 1 "随缘不是得过且过因循苟且，而是尽人事听天命。"
Target text 2 "没有口水与汗水就没有成功的泪水。"
Target text 1 "随缘不是得过且过因循苟且，而是尽人事听天命。"
Target text 2 "没有口水与汗水就没有成功的泪水。"

---

Happy

Source Speaker	Target Speaker	Scale = 0.5	Scale = 1.25	Scale = 2
Target text 1 "想到这我躲在被窝里偷偷的笑出了声来。"
Target text 2 "看到这情景，我乐在地上翻了个跟头。"
Target text 1 "想到这我躲在被窝里偷偷的笑出了声来。"
Target text 2 "看到这情景，我乐在地上翻了个跟头。"

---

Sad

Source Speaker	Target Speaker	Scale = 0.5	Scale = 1.25	Scale = 2
Target text 1 "他们没有过上一个好年，真是太悲催了。"
Target text 2 "你太强大了，我都要被你活活折腾死了。"
Target text 1 "他们没有过上一个好年，真是太悲催了。"
Target text 2 "你太强大了，我都要被你活活折腾死了。"

---

Surprised

Source Speaker	Target Speaker	Scale = 0.5	Scale = 1.25	Scale = 2
Target text 1 "这里到底发生了什么，回答我啊。"
Target text 2 "啊？你竟然对他不尊重到了这种地步。"
Target text 1 "这里到底发生了什么，回答我啊。"
Target text 2 "啊？你竟然对他不尊重到了这种地步。"

---

---