话说 Together 是不是现在唯一一家可选量化程度的服务商（Turbo=FP8, Lite=INT4, Reference=FP16）

感觉其他家就算用了量化也很难发现？特别是在不附带 token 概率（logprobs）的情况下。 https://t.co/8SnBpYAH3E https://pbs.twimg.com/media/GT2kxLYbwAEZeiK.png