
辉哥有个朋友,前阵子兴奋地跟我说他用的AI能一次处理10万token的上下文,相当于能塞进去一部《哈利波特》全集。我问他用这个功能干嘛,他说“万一以后用得上”。结果两个月下来,他连5万token都没用满过。
这可能是今年AI圈最魔幻的现实:厂商们在疯狂卷上下文窗口,从32K卷到100K再到200K,但大多数用户的日常使用,可能连10K都填不满。今天辉哥就来聊聊,100K上下文到底是真需求还是纯噱头。

辉哥有个朋友,前阵子兴奋地跟我说他用的AI能一次处理10万token的上下文,相当于能塞进去一部《哈利波特》全集。我问他用这个功能干嘛,他说“万一以后用得上”。结果两个月下来,他连5万token都没用满过。
这可能是今年AI圈最魔幻的现实:厂商们在疯狂卷上下文窗口,从32K卷到100K再到200K,但大多数用户的日常使用,可能连10K都填不满。今天辉哥就来聊聊,100K上下文到底是真需求还是纯噱头。