Чтобы собрать несколько ICO-файлов в одну библиотеку,
специально была создана программа ICL Builder, хотя подойдут и любые другие, но эта просто бесплатная и доступна на этом сайте.

Что касается PNG-файлов, то тут уже потребуется какой-либо редактор иконок, чтобы из PNG файлов сделать ICO

После того как с помощью ICL Builder создадите ICL-файл, просто поместите его в папку Samples из папки Folderico и выберите свою тему.

Для смены внешнего вид всех папок лучше использовать специализированные программы.
Например:

IconTweaker : http://joost.endoria.net/ (бесплатная)