1. О знании. Знание всегда интенционально, объектно, о чем-то. Объект науки - реальность, точнее, идеальная конструкция, претендующая на образ реальности. А о чем знание в математике? (Или в логике). Об идеальном, вообще говоря, безотносительном к реальности (числах, фигурах и т.п. идеальных конструктах). Можно, соответственно, говорить о математическом знании, только если стоять на платонической позиции существования объективного мира идей (что мне вполне симпатично).
2. Об интерпретации. (Для меня в этом обсуждении это ключевое понятие). Наука не может быть без интерпретации своих построений. Теория - это и есть интерпретация. А вот математика - как стало ясно с появлением неевклидовых геометрий - может строить свои "теории" впрок, их интерпретация не гарантирована. (Вот тут-то и самое интересное, что хочется продумать и обсудить - типы интерпретаций).
3. О законах и "правилах игры". Основная форма научного знания - закон: закономерное (совершающееся с необходимостью) поведение объектов. А для математики - в отсутствии или до интерпретации - на месте законов правила игры: предписанное правилами поведение объектов. (По-моему, именно это имел в виду Пуанкаре, который трактовал аксиомы как определения).