電腦王阿達
  • 首頁
  • 科技新聞
    • 最新科技新聞
    • AI 新聞與教學
      • AI 工具分享與教學
      • AI 趨勢與相關新聞
    • 產品評測
      • GPS/行車記錄器評測
      • iOS周邊
      • Android周邊
    • 科技廠商專訪報導
    • 電腦硬體周邊情報
    • 相機
  • 酷品開箱
  • 通訊達人
    • 電腦王阿達測速工具
  • APP/軟體/教學
    • 電腦應用與其他教學
      • 網路與軟體應用
      • 多媒體轉檔/運用
      • 其他文章
    • 跨平台App
    • iPhone/iPad相關
      • iPhone/iPad 軟體介紹
      • iPhone/iPad 使用教學
      • iOS JB/CYDIA應用
    • Android相關資訊
      • Android App分享介紹
      • Android 基礎教學
      • 智慧手機韌體更新
      • Windows Mobile手機相關文章
    • Mac 軟體分享與教學
    • LINE
    • Telegram
    • 攝影教學
    • 語文學習
    • 轉貼好文
    • WordPress 架站教學分享
    • 未分類文章
  • 休閒/懶人包
    • 新聞台直播 頻道大集合!想看新聞不用辦第四台!
    • 遊戲電玩
    • 動漫、玩具、敗家
      • 老弟紙模型作品集
    • KUSO
      • 有趣影片
    • 圖文創作
    • 生活與旅遊
    • 超好用懶人包
    • 最新抽獎情報公告
    • Pokemon GO攻略
  • 電腦王團隊
No Result
View All Result
  • 首頁
  • 科技新聞
    • 最新科技新聞
    • AI 新聞與教學
      • AI 工具分享與教學
      • AI 趨勢與相關新聞
    • 產品評測
      • GPS/行車記錄器評測
      • iOS周邊
      • Android周邊
    • 科技廠商專訪報導
    • 電腦硬體周邊情報
    • 相機
  • 酷品開箱
  • 通訊達人
    • 電腦王阿達測速工具
  • APP/軟體/教學
    • 電腦應用與其他教學
      • 網路與軟體應用
      • 多媒體轉檔/運用
      • 其他文章
    • 跨平台App
    • iPhone/iPad相關
      • iPhone/iPad 軟體介紹
      • iPhone/iPad 使用教學
      • iOS JB/CYDIA應用
    • Android相關資訊
      • Android App分享介紹
      • Android 基礎教學
      • 智慧手機韌體更新
      • Windows Mobile手機相關文章
    • Mac 軟體分享與教學
    • LINE
    • Telegram
    • 攝影教學
    • 語文學習
    • 轉貼好文
    • WordPress 架站教學分享
    • 未分類文章
  • 休閒/懶人包
    • 新聞台直播 頻道大集合!想看新聞不用辦第四台!
    • 遊戲電玩
    • 動漫、玩具、敗家
      • 老弟紙模型作品集
    • KUSO
      • 有趣影片
    • 圖文創作
    • 生活與旅遊
    • 超好用懶人包
    • 最新抽獎情報公告
    • Pokemon GO攻略
  • 電腦王團隊
No Result
View All Result
電腦王阿達
No Result
View All Result

首頁 » 最新科技新聞與報導 » 電腦應用與其他教學 » 網路與軟體應用

llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型

不用安裝任何軟體就能直接執行的本地聊天機器人

Rocky by Rocky
2024 年 04 月 07 日
in 網路與軟體應用
讀取中...

至今我們介紹過幾個可本地運行的 AI 聊天機器人,像是 LM Studio、Chat with RTX、GPT4All 等等,這些都需要安裝一個軟體後,再下載 LLM 大語言模型。如果你不想要這麼麻煩,或希望獲得一個綠色版的 AI 聊天機器人,那 llamafile 就是很不錯的選項,下載好指定檔案後就能直接執行,無需安裝任何東西。

llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型

llamafile 是由 Mozilla Internet Ecosystem(MIECO)所製作的專案,有在 GitHub 上分享,跟其他大語言模型的 AI 聊天機器人軟體不一樣在,它執行之後會直接在瀏覽器中啟用聊天介面,因此不需要透過任何軟體,使用的大語言模型是 LLaVA,不僅支援聊天,也能分析圖片。CPU、GPU 都支援。

Windows、Mac、Linux 的用法不太一樣,下面我會示範 Windows 的執行步驟,簡單來說就是將檔案名稱改成 .exe 後,就能直接執行了,因此你可以把改好檔名的檔案放在隨身碟裡,這樣無論到哪一台電腦,都能啟用這個 AI 聊天機器人。

有很多聊天設置可以調整,像是 Temperature、Predictions、Mirostat 等等,連使用者名稱和機器人名稱,你都能自訂。聊天時可輸入中文,不一定要用英文,不過英文的準確度會比較高。

  • 點我前往 GitHub 專案

點擊上方連結進到 GitHub 專案後,在 Quickstart 段落中,下載第一點的 llava-v1.5-7b… 這一個,檔案為 3.97GB,需要一點下載時間:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

下載好後,Windows 部份就在後面加上 .exe,然後按是:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

接著點二下執行,會跳出這提示視窗,點「其他資訊」:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

就會出現「仍要執行」的按鈕:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

會跳出這視窗,等待它跑完:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

瀏覽器就會打開 llama.cpp 這個聊天視窗,設定部份基本上不用動,你可以先玩玩看,等到回覆內容不滿意時,再來進行微調:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

把你要問的內容輸入在底部框框,然後按 Send:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

就能開始聊天了,實測支援中文,不過預設會用簡體中文,如果你想要它用繁體中文,記得特別說明要用「繁體中文回答」:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

雖然是本地 LLM 大語言模型,但回覆的內容品質還是挺不錯:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

我還有測試上傳圖片,要它分析有什麼元素,它也明確辨識出來,不過一開始是用英文回答:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

我叫它給我繁體中文翻譯,也沒問題的翻成中文給我:
llamafile 免安裝版 AI 聊天機器人,下載後就能直接運行 LLaVA 大語言模型 - 電腦王阿達

至於回覆速度,這取決於你的 CPU 和 GPU,配備夠好的話,回覆速度就很快,分析圖片需要消耗比較大的算力。

Tags: AI 聊天機器人LLMMozilla聊天機器人語言模型

您也許會喜歡:

立達合法徵信社-讓您安心的選擇

網站搜尋

No Result
View All Result

廣告


歡迎手機廠商、iPhone 周邊產品業者、APP軟體開發商洽談合作或產品測試事宜 koc koc.com.tw |隱私政策 |主機維護:Fast Line 台灣速連,阿腸數位科技

No Result
View All Result
  • 最新科技新聞
  • 最新科技產品報導
    • 3C產品開箱/廠商邀測
      • GPS/行車記錄器評測
    • 科技廠商專訪報導
      • 專題報導
    • 電腦硬體周邊情報
    • Android周邊
    • iOS周邊
  • 好用App介紹
    • Android App分享介紹
      • Android 基礎教學
    • iPhone/iPad 軟體介紹
      • iPhone/iPad 使用教學
      • iOS JB教學
      • iOS軟體與JB相關文章
      • iOS JB/CYDIA應用
    • 跨平台App
  • 通訊達人
  • Telegram
  • 電腦應用與其他教學
    • Mac OS 軟體分享與教學
    • 網路與軟體應用
    • WordPress 架站教學分享
    • 多媒體轉檔/運用
    • 語文學習
    • 轉貼好文
    • 其他文章
  • 旅遊與美食
    • 生活與旅遊
    • 圖文創作
    • 有趣影片
    • 動漫、玩具、敗家
    • 老弟紙模型作品集
    • KUSO
    • 阿達玩App
    • Pokemon Go攻略
  • 超好用懶人包
  • 電腦王阿達網路測速
  • 電腦王阿達團隊

歡迎手機廠商、iPhone 周邊產品業者、APP軟體開發商洽談合作或產品測試事宜 koc koc.com.tw |隱私政策 |主機維護:Fast Line 台灣速連,阿腸數位科技

No Result
View All Result
  • 最新科技新聞
  • 最新科技產品報導
    • 3C產品開箱/廠商邀測
      • GPS/行車記錄器評測
    • 科技廠商專訪報導
      • 專題報導
    • 電腦硬體周邊情報
    • Android周邊
    • iOS周邊
  • 好用App介紹
    • Android App分享介紹
      • Android 基礎教學
    • iPhone/iPad 軟體介紹
      • iPhone/iPad 使用教學
      • iOS JB教學
      • iOS軟體與JB相關文章
      • iOS JB/CYDIA應用
    • 跨平台App
  • 通訊達人
  • Telegram
  • 電腦應用與其他教學
    • Mac OS 軟體分享與教學
    • 網路與軟體應用
    • WordPress 架站教學分享
    • 多媒體轉檔/運用
    • 語文學習
    • 轉貼好文
    • 其他文章
  • 旅遊與美食
    • 生活與旅遊
    • 圖文創作
    • 有趣影片
    • 動漫、玩具、敗家
    • 老弟紙模型作品集
    • KUSO
    • 阿達玩App
    • Pokemon Go攻略
  • 超好用懶人包
  • 電腦王阿達網路測速
  • 電腦王阿達團隊

歡迎手機廠商、iPhone 周邊產品業者、APP軟體開發商洽談合作或產品測試事宜 koc koc.com.tw |隱私政策 |主機維護:Fast Line 台灣速連,阿腸數位科技