这得需要先定义何为“红色”。
如果红色作为一种人类的感官经验，的确我们只有在体验到的时候，红色才有意义。不体验的时候，其实红色并无意义。
如果红色作为“反射光的特定光谱”，那么它是不是红色取决于入射光，不取决于看不看。比如说绿光入射，反射光的光谱和自然太阳光的反射光谱就完全不一样。绿光入射的时候苹果是黑的。所以没人看它的时候，它不一定是红的。“红”这个性质不是苹果的性质，而是苹果反射到你眼中的光子的性质。
如果红色作为“在连续可见光谱入射”的条件下反射光谱的峰值位置，那么我们基本上可以认为不看的时候它也是红的。但是这只是我们不较真的前提下才能这么说，较真起来就难说了。即使是我们可以完全不考虑经典唯心主义的观点，从纯科学角度苹果的吸收光谱是分子能级决定的，而这个又可以看做是量子系统在环境干预下退相干的结果。严格讲，它也并不是属于苹果自身的独立性质。就像是“薛定谔猫”一样在不观察时，其生死态只能是环境干预下的、猫和环境纠缠态取偏迹的结果。
更新：
来说一下题主的具体疑问吧：
也许你觉得这很荒谬，苹果怎么会因为你不去看它就变色呢？然而，你说这是错的，你如何证明这是错的？
你说这是对的，因为你发现你确实证明不了这是错的。那么，你又如何证明它是对的？
有答主说，很简单啊，我用光谱仪，在我们不看的时候测试一下苹果的反射光光谱，记录下来，然后对比峰值是不是在红光的波长范围（600~700nm），不就知道了吗？
这个其实反驳不了题主的问题。
因为，我们不知道，在我们不看光谱记录的时候，这个记录结果的峰值是不是真的在 600~700nm 之间。我们完全可以说，仅仅是在我们看光谱仪的记录结果的时候，它才突然变成了这个峰值。在我们不看的时候，它的峰值完全可能是 520nm（绿光）。你又如何反驳这个？
这种反驳，只是把“我们看苹果的时候”这个触发事件推到了“我们看光谱记录的时候”。并不解决题主的疑问。
对题主的疑问，我们可以用蒯因的 holism来回应。
首先，我们要知道，当我们在讨论“苹果是什么颜色”的时候，我们讨论的不是“苹果本来是什么颜色”，而是在说“我们对苹果的颜色能够说些什么”。
那么，我们队苹果的颜色能够说些什么呢？我们必须说，自然科学是现在我们对物理现象最好的理论，我们承认它。鉴于理论的整体性，当我们承认它的时候，我们必须要承认它对苹果的本体论层面上做出了何种判断。如果自然科学说，苹果在我们不看它的时候，它颜色不发生变化，那么我们就要承认这个说法。否则的话，我们就必须抛弃整个自然科学的基础——我们显然不愿意这样做。那么我们最好要承认这个“本体论承诺”。
那么，自然科学是不是说苹果在我们不看它的时候，颜色仍然是不变的吗？
到现在为止，这个答案仍然是“是的”。
有一点不那么肯定的，是量子诠释中哥本哈根学派的说法，就是说“现实只有在被观察的时候才是现实”。
"Everything we call real is made of things that cannot be regarded as real." - 波尔[1]
no elementary quantum phenomenon is a phenomenon until it is a registered phenomenon. - 惠勒[2]
但是即使是最坚决的哥本哈根学者，也只是说在量子层面上，未被观察的现象不是现象。哥本哈根以“量子 - 经典分界”著称，也就是说，在苹果这种宏观（经典）现象中，他们也都不认为未被观察的性质会有所变化。
当然，这种说法被薛定谔所反对，并且通过一个精巧的实验，把量子层面的东西传递到经典层面，从而有了“薛定谔猫”这只神兽。从 100 年前的量子理论来看，我们很难坚定地认为，当我们不看猫的时候，它就是活的（或死的）。似乎是只有在观察它的时候，我们才赋予了它生死。但是现代量子力学已经有了更好的理论，让这只猫得以从生死叠加态解放（比如说退相干理论）。关于这一点请参考本人的文章：