Python環境をhomebrew + pipで構築した時の注意事項

私はMac(今はOS X Mavericks)でPython環境を構築する時、

• Python本体はhomebrew
• 各ライブラリ(numpy, scipy, matplotlib, scikit-learn等)をpip

で管理しています。
この方式だと、homebrewでpythonをアップグレードした時、各ライブラリが読み込めなくなることがあります。
私の場合は特にmatplotlibで起こります。

そういう時はpipで各ライブラリを一旦アンインストールしてからインストールし直すと解決できます。
参考：pipの使い方 (2014/1バージョン) — そこはかとなく書くよん。

感想

この構築の仕方は割りと気に入ってるのですが、アップデートの際にエラーが起こって困ったりもします。
Python環境、どうやって構築するのが一番なんでしょうか...