CodeI/O 是一種新方法，它將基於程式碼的推理模式轉換為自然語言格式，以增強大型語言模型的推理能力。與專注於特定技能的傳統方法不同，我們的方法系統地提取通用推理原語，同時保持程序嚴謹性，從而能夠在各種推理任務中獲得更好的性能。
主要特點和貢獻
通用轉換：將不同的代碼模式轉換為自然語言的思路鏈原理
語法解耦：將推理與程式碼語法解耦，同時保留邏輯結構
多任務增強：提高符號、科學、邏輯、數學、常識和代碼推理的效能
完全可驗證：支援透過快取的真實情況匹配或程式碼重新執行進行精確的預測驗證
高階迭代：增強版 (CodeI/O++) 經過多輪修訂，準確率更高
核心資料建置管道
我們首先從各種來源收集原始程式碼檔案。然後它們被轉換成統一的格式。接下來，透過程式碼執行從轉換後的函數中取樣 I/O 對。最後，使用統一格式的元素和從 LLM 收集的回應來組裝完整的訓練資料集。
Picture Source:
DeepSeek