34 家免費額度、一個端點：FreeLLMAPI 真正在賣的是什麼

有一種開發者，看到「34 家免費 LLM 供應商」這句話，第一件事就是開始倒數，等著哪個環節先爆。FreeLLMAPI 就是衝著這種人來的，而且難得的是，它的 README 完全沒打算裝作不是。開頭就把數字列出來，用的字級大概只有募資公告才會用：每月 74 億個 token、34 家供應商、635 個免費端點、474 個模型家族、一個相容 OpenAI 的網址。

這個專案在過去一個月多了大約 15,600 顆星，目前累積約 45,400 顆。這種成長本身就是訊號。大家按下星星不是因為它寫得優雅，而是因為過去一整年，他們自己手動做同一件事，而且做得很爛：開六個後台、把六把金鑰貼進設定檔，然後在某個凌晨兩點發現，腳本真正依賴的那家供應商，額度三小時前就重置掉了。

它實際上在做什麼

FreeLLMAPI 是一個本機路由器，卡在你的客戶端和一堆免費額度之間。你把客戶端指向 http://localhost:PORT/v1，隨便丟一串金鑰給它，它就會替每個請求決定要打哪個上游模型。某家供應商開始回傳限流錯誤，它就換到下一家。它會按金鑰追蹤用量，免得你在額度撞牆前渾然不覺，而那個額度要等到下個月一號才會重置。金鑰是加密儲存的。

整個把戲就這樣，而且是真的管用。任何試過靠免費額度讓副業專案活著的人都知道，出事的模式不是「某一家掛掉」。真正的情況是：你把整套重試邏輯綁在某一家供應商特有的錯誤格式上，接著發現下一家用的是另一套，再接著發現第三家連串流都不照同樣的方式做。

安裝

四種安裝路徑，這本身就透露了他們預期誰會上門。

最快的是桌面版：從 releases 頁面下載 macOS 或 Windows 版本，打開，加金鑰。如果是家用實驗機或小組團隊，有指向 ghcr.io/freellmapi/freellmapi 的 Docker Compose，如果這東西要跑好幾個月，我會選這個。另外還有 Android 和 iOS App，聽起來很浮誇，但想想也合理：真的有人希望在手機上有一個備援模型，而不想為此每月付 20 美元。

跑起來之後，設定就只是在你用的客戶端裡改一行。任何講 OpenAI API 的東西都能用：寫程式的 agent、聊天介面、常見的 Python 和 TypeScript SDK。你設定 base URL，設定一把假金鑰，請求就開始流動了。README 的相容清單很長，裡面包含大家每天真的在用的命令列 agent。

要付錢的那一部分

有趣的地方在這裡。目錄本身是從一份簽章過的 feed 更新。新的免費模型、額度變動、相容性修正，都不需要 git pull 就會送到。這是沒有人想手動維護的管線，也正是那塊並非完全免費的部分。

免費安裝版拿到的是每月快照。一個新加入即時 feed 的模型，要 30 天後才會出現在你的機器上。想要當天就看到同一份目錄，一年付 19 美元。這就是商業模式：賣的不是路由，也不是軟體（軟體是 MIT 授權），而是這份清單的新鮮度。

這個模式很合理，同時也洩了底。這個領域的價值從來就不是代理程式碼，而是「這個星期，635 個端點裡哪些還活著，哪一個悄悄把免費額度裡的圖像生成關掉了」。這是資料問題，而資料壞得很快。

它沒有解決的事

免費額度之所以免費，是因為有人判斷你的流量帶來的邊際成本，值得當成行銷費用。它們不會因為服務條款允許你把 34 家兜在一個端點後面、再轉賣存取權，就變成免費。README 裡有「限制」章節和免責聲明，在你把任何面向正式環境的東西指向它之前，兩段都值得讀完。

還有品質問題。免費額度通常是小的模型、量化版本、比較舊的 checkpoint。如果你的流程需要某個特定模型有特定行為，而路由器在第一家被限流時悄悄換成另一個，產出的結果就會以一種很難除錯的方式不一致。路由器有故障轉移邏輯，但它沒有「這兩個模型對我的任務可以互換」這種概念。

再來是延遲。每一跳都多一次判斷。一切健康的時候你不會注意到。但當 34 家裡面有三家正在過一個糟糕的下午，你會在請求上感覺到：它先花十一秒失敗，然後才在別的地方成功。

讓它真的能用的一個不性感細節

如果我要做類似的東西，我會直接抄它的按金鑰計量。免費額度通常不會大聲故障，而是緩慢劣化：你的腳本星期一還能跑，星期三變慢，星期五開始回 429，而你的程式把它當成一般錯誤，於是永遠重試下去。一個知道每把金鑰上限、會在撞牆前就停止送請求的路由器，做的正是讓系統活下來那種無聊但必要的工。

另一個值得注意的設計選擇是：它不會在模型選擇上自作聰明到讓你意外。你想固定某個模型就固定。路由器存在的目的是吸收失敗，不是對「哪個模型更適合你的提示詞」發表意見。這種克制在這個領域很少見，這裡的專案總愛加一層「智慧路由」，結果讓輸出無法重現，除錯變成折磨。

這是給誰用的

如果你在做必須可靠的東西，那這不是你的基礎設施。付錢買一個好 API，然後往前走。正式環境裡一個不穩定模型帶來的代價，是用客服工單計算的，不是每百萬 token 多少美元。

如果你是在替自己做東西，或者禮拜六凌晨一點在驗證一個想法，那它真的有用，而且是大多數「AI 工具」專案做不到的那種有用。它把枯燥的部分拿走（金鑰管理、額度追蹤、故障轉移），留下真正重要的部分（這個想法成不成立）。每月 74 億 token 這個標題是行銷，但底下那句話是真的：34 家供應商的免費容量加起來，遠大於其中任何一家，而且大部分時間是閒置的。

這個專案拋出的不舒服問題，是關於明年。每一份免費額度都是獲客預算，而這些預算正在被砍。一個依賴 34 份免費額度的路由器，本質上是在賭至少有一部分會繼續免費送推論。這個賭注已經贏了一陣子。要它永遠贏下去，才奇怪。

不過至少現在，45,000 個人認為這個交換值得，而 README 對限制的誠實，正是我比較願意相信它、而不是那些什麼都承諾卻什麼都不寫的替代品的原因。