Apple 自己的 Apple Intelligence 的開發進度似乎不如預期,截至目前,都沒見到什麼突破性的功能出現,但透過第三方的模型,iPhone 還是可以做到 AI 自動化流程,最近就有人分享利用 GPT 4.1 模型實現的工具,雖然不是那種有在 App Store 上架可安裝即用的 App,但有在 GitHub 免費開源,代表說知道怎麼在 iPhone 上運行的人都能玩玩看。
國外開發者製作出基於 GPT 4.1 的 iPhone AI 自動化操作工具
一位名叫 Rounak Jain 的國外開發者,在 2024 年 OpenAI 駭客馬拉松比賽中,開發了這款工具,而從今年開始,他將其開源專案放在 GitHub 上,每個人都能免費獲得。
從他展示的影片來看,用戶可以透過這款開源工具做到使用語音指令,來要求 AI 完成指定的任務,支援跨應用程式,如:先用相機拍照、然後透過其他應用程式分享給別人,過程不需要操作任何按鍵。
Rounak Jain 先示範「拍一張新照片,並用一首關於週末的俳句傳給 Ron 」:
而 AI 就啟動相機拍下當前鏡頭的畫面,然後透過分享功能,找到 Ron 並啟用 iMessage,接著在輸入框中生成一首俳句並發送,過程中他都沒有動手操作:
也內建「永遠開啟模式」,AI 會持續聆聽指令,不用特別打開工具,Rounak Jain 給出以下指令:「代理人,傳訊息給 Ron 說我搭乘 DL1715 飛往洛杉磯,並呼叫一台前往 SFO 的 Uber X。」,因此整個操作流程會變成,打開 iMessage 傳送指定訊息給 Ron,然後開啟 Uber 安排前往 SFO 的車:
影片確實就演示 AI 操作所有流程,Rounak Jain 完全沒動手:
打開 Uber 叫車蠻猛的,而且特別的地方在,SFO 的字,AI 似乎是用貼上:
AI 也透過辨識 DL1715 班機號碼的方式,成功選擇正確的達美航空:
除了多個 App 應用程式搭配,這款工具也能進行系統層級的操作。
像是要求「打開控制中心並開啟手電筒。」:
接著可透過它傳送的通知,進行相關回覆,這邊他是要求將手電筒關閉:
Rounak Jain 表示,要運行這個工具只需要一組 OpenAI API 金鑰和 Xcode,不用越獄,所以可以放心使用。
這是完整影片:
隨著這專案現身也可以確定,不只是電腦,手機端的 AI 自動化操作也開始在發展,當然,部份自動化功能其實透過 iPhone 的捷徑已經能做到,但未來有了 AI 加持後,不僅操作更簡單(不需要在捷徑裡面拉來拉去),能做到的事一定多更多。