http://www.feedly.com/factory.html

ここにアクセスして、設定URLに

サイトURL + /feed/

と入れる。

あとはWordPressの外観→ウェイジェット→テキスト
のツールバーを追加し、その中にfeedlyの埋め込みコードを入れるだけ！

参考
WordPressのサイドバーにRSS購読ボタンを設置する方法