A község első írásos említése 1237-ből származik Yborfa formában, 1773-ban már mai nevén, Iborfiaként találkozhatunk vele.[3] Nevének eredete homályos, de vélhetően a régi magyar Ibor férfinévből származik.
Leginkább nemesek lakták, nemesi kiváltságait 1848-ig megtartotta. A faluban 22 ház épült. 1995-ben készült el a község faluháza, melyben működik az önkormányzati hivatal, a háziorvos ellátja a rendelést, és különböző lakossági összejövetelek megtartására is szolgál.
Mindig kis falu volt. A 19–20. század fordulóján 130 lakosa volt, ez 1941-ben kissé megnőtt, elérte a legnagyobb, 173-as létszámot. Ezután előbb lassan, majd a hetvenes években drasztikusan csökenni kezdett. A jobb munkahelyek és a nehéz közlekedés, az iskola hiánya mind-mind a távozás okai voltak.
Pajzsfőnél vörössel vágott, kékkel és zölddel hasított csücsköstalpú pajzs első vörös mezejében, két egymással szembeforduló arany oroszlán áll, második kék mezejében lebegő, fekete tetővel borított arany harangtorony, harmadik zöld mezejében egymással keresztezett, nyelükön álló, elöl, befelé forduló arany kasza, hátul arany gereblye, mögöttük középen egy szál arany búzakalász, mind lebegőn. A címerpajzs fölé helyezett arany szalagra fekete betűkkel a település neve: IBORFIA van írva.
A címer szimbolikája:
A község területe az 1848-as évekig leginkább nemesek által lakott terület volt, ennek jelképei a vörös pajzsfőben látható arany oroszlánok. A pajzs kék mezejére helyezett haragláb, a falu mai harangtornyának stilizált képe, mely az összetartozás, a hit szimbóluma. A zöld mezőben aranyló mezőgazdasági eszközök a településen élő emberek mai életére, Iborfia értékes természeti környezetére, falusi jellegére mutatnak.
A községi zászló leírása:
A zászlólap 2 : 1 arányú, fekvő téglalap alakú, 8/10-1/10-1/10 arányban, fehérrel-vörössel-zölddel, függőlegesen osztott kelme. Az önkormányzat címere a zászlólap fehér mezejének mértani közepén került elhelyezésre. A zászlólap lengő vége arannyal van rojtozva.
A községi lobogó leírása:
A zászlólap 1 : 2 arányú, álló téglalap alakú, 8/10-1/10-1/10 arányban, fehérrel-vörössel-zölddel, vízszintesen osztott kelme. Az önkormányzat címere a zászlólap hosszanti tengelyében, a rúdtói 1/3, a szabad végtől 2/3 egységnyi távolságra helyezkedik el. A zászlólap alsó éle arannyal van rojtozva.