方以智的《物理小识》中的哲学思想基本上是唯物主义的，但个别观点也有陷于唯心主义之处。明亡以后，方以智坚决抗清，削发为僧，在晚年时期，他受佛教的影响较深，于是在哲学基本观点上走向唯心主义，甚至完全转到唯心主义。
这在他的晚年著作《东西均》中明显地表现出来。《东西均》中首先重复了“离物无心，离心无物”的命题，进而认为太极就是心。他说：“太极者，先天地万物，后天地万物，终之始之……自古及今，无时不存，无处不有，即天也，即性也，即命也，即心也。”
这样，他所谓的心就成了与太极一样的绝对本体了。进一步，他更认为心是气的所以然。他说：“本一气耳，缘气生生，所以为气，呼之曰心。”又说：“世无非物，物因心生。”这样，他就离开了“离物无心”，而专讲“离心无物”了。
方以智在《东西均》中虽然主张“气理皆归一心”，但仍然反对离气言理；扫物尊心。他说：“夫乌知一之本千万，听其千万之本一乎？标理者谓理，已胶；标心者执心，亦胶。”
这是说，万象本于一原，一原显为万象，不应专标一原忽略万象。如果专门执定理或者执定心，那也就胶固不通了。他论述理与象的关系说：“理与象，气与形，皆虚实有无之两端而一者也。……世有泥象数而不知通者，固矣；专富理而扫象数者，亦固也。……岂有通至理而不合象数者乎？……真易简者，不寓繁多而易简。者也。”既不可泥于象数，也不可扫象数而专言理。
他又讲形上形下的关系说：“阴阳即形下矣，而谓之道，岂非上藏子下而无上无下者乎？”形而上者即包括于形而下者之中。他反对绝物以存心：“火固烈于薪，欲绝物以存心，犹绝薪而举火也，乌乎可。”又说：“爱一恶赜，胶柱已甚。人当独有一心，四官四支、三百六十骨节太多，何不废之？天当止有天，不当有日月星，可乎哉？”天不能脱离日月星，人心也不能脱离四官四肢。
于是，方以智认为，心是世界的究竟本原，心是最根本的。他说：“通言之，则徧满者性，即徧满者心，未有天地，先有此心。”这样的心不是个人的心，而是“公心”。他说：“心大于天地，一切因心生者，谓此所以然者也。谓之心者，公心也，人与天地万物俱在此公心中。”所谓公心，也就是绝对的心。然而此公心，又仍然是自心。所以他又说：“苟非彻见自心，安能信此心之即天地万物乎？”
宋明哲学中关于哲学基本问题的争论是围绕“气”、“理”、“心”展开的。唯物论者认为气是本原，客观唯心论者认为理是本原，主观唯心论者认为心是本原。值得注意的是，方以智明确提出气、理、心的问题。他认为，理可统气，而理气又皆归于一心。他说：“无真妄之真真，即统理气之至理。”“主理臣气而天其心，乃正示也。”他又说：“形本气也，言气而气有清浊，恐人执之，不如言虚；虚无所指，不如言理；理求其切于人，则何如直言心宗乎？”归根到底，他认为心是最根本的。他说：“囚言气理，而质论，通论之，皆归一心。”
方以智认为，气、理、心三者既有区别又是统一的，可分而不可分，不可分而可分。他说：“气也，理也，太极也，自然也，心宗也，一也，皆不得已而立之名字也。”又说：“明至无可明，养至无可养，穷至无可穷，则又何心。何气，何理乎？又何不可心之，气之、理之也乎？”“理也，气也，心也，俱可忘言，俱无不可言，又何拣择乎？”对于万物来说，气也是根本；但是心究竟是最根本的。方以智的《东西均》中所宣扬的哲学观点，十分明显，是一种唯心主义。
方以智晚年虽然主张唯心主义，但仍然重视事物的探索，并没有忘掉他早年提倡的质测之学。
三、“随”、“泯”、“统”
相因者皆相反，相反者皆相因。相反即相互对峙，相因即相互倚伏。一与二，统一与对立，也是相反而相因的。方以智说：“因对待谓之反因，无对待谓之大因。然今所谓无对待之法，与所谓一切对待之法，亦相对反因者也，但进一层耳。”“对待”亦即相对性，“无对待”亦即绝对性。绝对的与相对的亦是相反而相因。辩证法不仅承认相对，而且承认有绝对，但绝对即在相对之中。方以智也讲“无对待在对待中”，但又主张超越一切差别，“世即出世，是名超越”，“乃无实无虚，无可无不可，冥应双超者也”，于是他又陷入形而上学的观点中去了。
方以智的辩证思想和他的形而上学观点是错综交织的，但应该分别看待。他关于“二”、“对待”、“相反”的学说是相当深刻的，这是他思想中的精华；他关于“无二无别”的观点要求超越一切差别，就是他思想中的糟粕了。
方以智又提出“交”、“轮”、“几”三个观念，他说：“交以虚实，轮续前后，而通虚实前后者曰贯，贯难状而言其几。”又说：“交也者，合二而一也；轮也者，首尾相衔也。……几者，微也，危也，权之始也，变之端也。”
这里，“交”即对立两方面相互作用相互渗透，“轮”即对立两方面相互转化相互推移，“几”是变化的开始，即事物运动变化的内在源泉。所谓“交”既指对立的相互作用相互渗透，而又表示：既然两者交互作用交互渗透，彼此也就无所区别，合为一体。所谓“轮”既指对立的相互推移，又表示：两者彼转为此，此转为彼，循环往复，互不相离。他又说：“虚实也，动静也，阴阳也，形气也，道器也，昼夜也，幽明也，生死也，尽天地古今皆二也。两间无不交，则无不二而一者，相反相因，因二以济，而实无二无一也。”
天地古今，一切事物，无不形成对立，无不包括对立，而对立皆二而一，终究是无二无一。又说：“轮之贯之，不舍昼夜，无住无息，无二无别。随泯自统，自然而然。”又说：“一不可言，而因二以济，二即一，一即二也。自有阴阳、动静、体用、理事，而因果、善恶、染净、性相、真妄，皆二也，贯之则一也，谓之超可也，谓之化可也，谓之无可也。”
这些观点，一方面承认对立矛盾的普遍性；另一方面又断言对立矛盾都没有分别。“尽天地古今皆二也”，这是辩证法的命题；“无二无别”，这是形而上学的谬论。在方以智的学说，这两方面是相互联结在一起的，但在今日，我们应当分别观之。
方以智提出了关于对立的相互关系的学说。第一，他肯定对立之为对立，肯定对立两方面相互渗透、相互转化的关系。第二，他又认为，对立的两方面既然相互渗透、相互转化，也就没有区别，于是否认对立之为对立，而认为一切都是同一的。这第一层思想应该说是辩证思想，这第二层思想则由辩证思想倒向于形而上学了。
方以智的形而上学的观点是错误的，而且有时达到了荒谬的地步。但他的辩证思想也是极其显著的，他的主要贡献无疑是阐发了一些辩证观点，这也不能忽视。
方以智在《东西均》中提出了“随”、“泯”、“统”三个观念，作为他的方法论的总纲。他说：“明天地而立一切法，贵使人随；暗天地而泯一切法，贵使人深；合明暗之天地而统一切法，贵使人贯。”
照这三句话看来，与“泯”、“统”相应的观念应该是“立”，但他在多处都以“随”、“泯”对言，而在篇题中也以“统”、“泯”、“随”并举。所谓“随”即顺从常识，承认一切事物的存在，也就承认对立之为对立；所谓“泯”即消除一切区别，不承认一切事物的存在，也就不承认对立之为对立；所谓“统”即综合以上两种观点，把两者贯通起来。方以智认为“随”、“泯”、“统”三者是统一的：“究竟统在泯随中，泯在随中，三即一，一即三。”这“随”、“泯”、“统”的观念来源于佛教华严宗的三谛（俗谛、真谛、中谛）学说。方以智说：“华严归于事事无碍法界……可见中谛统真俗二谛……俗谛立一切法之二，即真谛泯一切法之一，即中谛统一切法之一即二、二即一也。”“随”即华严宗所谓“俗谛”，“泯”即华严宗所谓“真谛”，“统”即华严宗所谓“中谛”。“随”承认“二”，“泯”只承认“一”，而“统”则肯定“一即二，二即一”。承认二之为二，这是辩证法；不承认二之为二，这是形而上学。在方以智的思想中，辩证法与形而上学观点是交织在一起的。
方以智又提出“反因”的学说。他说：“吾尝言天地间之至理，凡相因者皆极相反。……夫对待者，即相反者也。……吉凶祸福，皆相倚伏。生死之几，能死则生，徇生则死。静沉动浮，理自冰炭，而静中有动，动中有静，静极必动，动极必静。有一必有二，二本于一。岂非天地间之至相反者，本同处于一原哉？”
四、对于理学和禅宗的批判
方以智晚年虽然由唯物论转向唯心论，并且沉浸于形而上学的幻想之中，但他并没有背弃他早年从事的质测之学，仍然强调学问不能脱离事物。
方以智的哲学有显著的特点。第一，他早年的唯物主义思想是和当时的自然科学知识密切联系的，这在中国传统哲学中颇为突出。第二，他晚年由唯物主义转向唯心主义，但仍批判理学与禅宗的空虚之学，鼓吹“实学”。第三，在他的思想中，既有辩证的观点，又有形而上学的观点，错综交织、呈现异常复杂的情况，我们在分析他的形而上学错误的同时，也要注意他的相当深刻的辩证学说，充分估计他对辩证思想的贡献。
他宣称：“天载于地，火丽于薪，以物观物，即以道观道也。火固烈于薪，欲绝物以存心，犹绝薪而举火也，乌乎可？”这是说，心固然是主要的，但不可绝物。方以智根据这个观点对于理学和禅宗提出了深刻的批评。
关于自然和历史的知识都是依靠学习的，所谓“本自具足”，不过是说具有认识的可能性而已，赤子吃饭和走路也有待于学习。一定要离外言内，首先应该不吃饭。方以智对于“离外以言内”的批判是犀利的。
方以智强调内外统一，“道寓于艺”。他说：“知道寓于艺者，艺外之无道，犹道外之无艺也。……真智内智，必用外智。性命声音，人所本有，可自知也。寓内之方言称谓，动植物性，律虏古今之得失，必待学而后知，其曰本自具足者，犹赤子可以为大人也。……据实论之，赤子之饭与行必学而后知。……欲离外以言内，则学道人当先从不许学饭始。”
他虽然不能摆脱唯心主义的影响和束缚，但他坚决反对脱离事物的空虚之学。他又说：“即博学之病，病不过老牖下，孰与悟门之病，诳惑横行，而僭第一坐乎？”博学之士虽不免肤浅，但不会像自以为明心见性的人那样狂妄自大。他更宣称：“欲挽虚窃，必重实学。”方以智提出“实学”的口号，是值得注意的，这反映了明亡以后进步知识分子的要求，也表现出他早年从事质测之学的科学态度。
他批评理学的偏失说：“理学怒词章训故之汩没，是也；慕禅宗之玄，务偏上以竞高，遂峻诵读为玩物之律……礼乐精义，芒不能举；天人象数，束手无闻。……由是观之，理学之汩没于语录也，犹之词章训故也。”
理学排斥辞章之学与考据之学，以阅读史书为玩物丧志，结果对自然与历史的实际情况都不研究，完全陷于空虚无用，本质上和词章考据一样。他又批评禅宗的谬妄说：“禅宗笑理学，而掸宗之汩没于机锋也，犹之词章训故也。所谓切者槁木耳，自谓脱者野兽耳。夫岂知一张一弛、外皆是内之真易简，绝待贯待，以公统私之真羌碍乎。”这是说，禅宗专讲所谓机锋，自谓明心见性，实不过自欺欺人而已，并不理解内外、绝对相对的统一关系。
方以智思想中的矛盾反映了明清之际社会的各种矛盾。当时，封建地主阶级与农民的矛盾既已激化，满汉之间民族矛盾更加突出，汉族地主阶级中进步势力与腐朽势力的矛盾也很显著。各种矛盾错综纠缠，更加上方以智个人的生活经历曲折反复，这些情况反映在方以智的头脑中，便形成这样一种具有独特面貌的哲学。