# 策展 · X (Twitter) 🔥🔥🔥 > 📖 本站完整內容索引（documentation index）：[llms.txt](/llms.txt) > 作者：Farza 🇵🇰🇺🇸 (@FarzaTV) · 平台：X (Twitter) · 日期：2026-07-15 > 原始來源：https://x.com/FarzaTV/status/2077130366230639022 ## 中文摘要 Farza 為 HeyClicky 推出螢幕感知聽寫功能。 **核心功能** HeyClicky 這次新增的「螢幕感知聽寫」（screen-aware dictation）功能，不僅能快速進行語音輸入，還能把螢幕上的上下文帶入聽寫內容：在 Claude Code 中寫入 prompt，在 Gmail 中用使用者的語氣產生回覆。該工具具備約 450ms 的極低延遲語音轉文字效能，並能將螢幕內容作為 prompt 的一部分，實現更具情境意識的 AI 互動。 > 影片介紹一款名為 HeyClicky 的 AI 工具，具備螢幕感知聽寫功能，能根據當前螢幕內容自動生成回覆或執行指令。 **實際應用與操作** 根據演示內容，HeyClicky 的應用場景相當廣泛，使用者可透過 `fn` + `control` 鍵啟動功能： - **情境化回覆**：在 Gmail 中，AI 能讀取郵件內容，並根據使用者的語音指令自動生成回覆。 - **程式開發輔助**：在終端機介面中，AI 能分析程式碼錯誤並提供除錯建議，並能與 Claude Code 整合，自動撰寫對應的 prompt。 - **跨平台整合**：透過內建的「Skills Library」，使用者可啟用特定 skill（如 Y Combinator skill），在 Google Slides 中根據投影片內容自動生成文案。 - **日常辦公**：支援 Google Ads 文案撰寫、履歷編寫，以及 Slack 和 LinkedIn 的訊息回覆。 **技術架構與觀察** HeyClicky 試圖超越傳統單純的語音轉文字工具，透過將螢幕內容納入 AI 的處理迴圈，讓語音指令具備了「看見」使用者工作狀態的能力。在演示中，該工具把螢幕內容作為聽寫上下文，並在不同應用程式中輸入文字或生成回覆。 ## 媒體內容 **影片介紹 HeyClicky 的螢幕感知聽寫：它能在 Claude Code 中寫入 prompt，並在 Gmail 中用使用者的語氣產生回覆。** **影片中的 Prompt 與操作** Prompt（00:13）： ``` 今天我有三件事要處理。第一，skill；第二，記憶；第三，這個使用者回報關於聽寫的錯誤。 ``` 原文：Today I have to ship three things. First, skills, second, memory, and third, this bug that this one user gave about dictation. Prompt（00:41）： ``` HeyClicky，幫我回覆這封郵件，內容大概是：謝謝，很感謝你，並詢問他使用該產品的案例有哪些。 ``` 原文：HeyClicky, type a reply to this email and say something like, thanks, appreciate you, and ask him what his use cases are for the product. Prompt（01:07）： ``` HeyClicky，我不是技術人員，我完全看不懂 Claude 在這裡說什麼。你可以幫我在終端機輸入一個後續指令，並解釋給我聽讓我學習嗎？ ``` 原文：HeyClicky, I'm non-technical, and I have no idea what Claude is talking about here. Can you type a follow-up prompt in the terminal and also explain it to me so I can learn? Prompt（01:25）： ``` HeyClicky，這是我的簡報投影片中的一句話介紹。請幫我寫一段 YC 會喜歡的內容，作為我 Google Slides 的第一張開場投影片。 ``` 原文：HeyClicky, this is the one-liner from my pitch deck. Type something good that YC would appreciate as the first opener slide on my Google Slides here. 操作步驟： 1. （00:04）啟動聽寫功能 2. （00:12）在 Apple Notes 進行語音輸入 3. （00:38）在 Gmail 介面啟動聽寫並生成回覆 4. （01:07）在終端機介面進行語音詢問 5. （01:25）在 Skills Library 啟用 Y Combinator skill 6. （01:33）在 Google Slides 進行語音指令操作 **逐字稿** - `00:00` 嘿，今天我們要在 Hey Clicky 中加入聽寫功能。你只需要按住 FN 加 Control 鍵，開始說話，你說的任何內容就會以文字串流的方式，輸入到你目前游標所在的任何文字框中。（Hey, so today we're adding dictation to Hey Clicky. All you got to do is press and hold FN plus control, start talking, and whatever you're saying will stream in as text into whatever text box your cursor is on.） - `00:11` 例如，如果我在 Apple Notes 裡，我可以說：今天我必須完成三件事。第一，skill；第二，記憶；第三，這個使用者回報關於聽寫功能的錯誤。（For example, if I'm on Apple Notes, I can just say, today I have to ship three things. First, skills, second, memory, and third, this bug that this one user gave about dictation.） - `00:21` 這真的很酷，老實說，現在很多產品已經能做到這一點了。（So that's pretty cool, and honestly, many products already do this exact thing today.） - `00:25` 但重點是，當我在寫作時，我通常不知道自己想說什麼。（But here's the thing, when I'm writing, I often don't really know what I even want to say.） - `00:30` 所以看看這個，我們推出了具備螢幕感知能力的聽寫功能。這非常酷，我從未見過類似的功能，我想展示給你們看。（So check this out, we're shipping screen-aware dictation. It's pretty cool, I've never seen anything like it before, and I want to show you.） - `00:36` 假設我想回覆這封 email，但我不太確定該說些什麼。（Let's say I want to write a reply to this email, but I'm not quite sure what I want to say.） - `00:40` 我可以說：嘿 Clicky，幫我打一封回覆這封 email 的內容，說聲謝謝，表達我的感謝，並詢問他對於這個產品的使用情境是什麼。（I can just say, hey Clicky, type a reply to this email and say something like, thanks, appreciate you, and ask him what his use cases are for the product.） - `00:47` 這大約只需要五秒鐘，它就會直接在我的 Gmail 文字框中產生回覆。（And this will take like five seconds, but it'll actually generate a reply directly in my text box in Gmail.） - `00:53` 我已貼上你的回覆。（I pasted your reply.） - `00:54` 而且這會以我的語氣呈現，基於 Hey Clicky 對我的記憶。（And it'll be in my voice, based on Hey Clicky's memories of me.） - `00:57` 這簡直太神奇了，因為第一，我們利用實際螢幕的內容來撰寫回覆；第二，這就像是我可以在對話的同時進行寫作，即使我不知道自己想說什麼。（This is magical, because one, we're using the context of the actual screen to write the reply, and two, it's as if I can write while having a conversation, even if I don't know what I want to say.） - `01:07` 嘿 Clicky，我不是技術人員，我完全不懂 Claude 在這裡說什麼。（Hey Clicky, I'm non-technical, and I have no idea what Claude is talking about here.） - `01:11` 你可以幫我在終端機輸入一個後續的 prompt，並向我解釋，讓我學習嗎？（Can you type a follow-up prompt in the terminal and also explain it to me so I can learn?） - `01:15` 我已經貼上了一個很好的後續 prompt。Claude 說下一步是在 Xcode 中建立應用程式。（I've pasted in a good follow-up prompt. Claude said the next step is to build the app in Xcode.） - `01:20` 而這個螢幕聽寫功能在結合 skill 後會變得更加強大。（And this whole screen dictation feature gets so much more powerful with skills.） - `01:25` 你可以直接在產品中啟用一個 skill，例如我們的 Y Combinator skill，然後說：嘿 Clicky，這是我的簡報投影片中的一句話介紹。（You can activate a skill, like our Y Combinator skill, directly in the product, and then you can say, hey Clicky, this is the one-liner from my pitch deck.） - `01:33` 幫我在這裡的 Google Slides 上，打出一些 YC 會欣賞的優質開場投影片內容。（Type something good that YC would appreciate as the first opener slide on my Google Slides here.） - `01:37` 它就會直接幫你完成。（And it'll just do it.） - `01:38` 我們看到使用者將螢幕感知聽寫功能應用在各種不同的事情上。（We've been seeing our users use screen-aware dictation for tons of different things.） - `01:42` 有人在 Google Ads 中使用它來協助撰寫更好的廣告文案，有人用它來協助撰寫履歷，還有許多人只是用它來回覆 Slack、LinkedIn 等平台上的訊息。（People using it in Google Ads to help them write better ad copy, people getting help on writing their resume, and lots of people just using it to reply to messages on Slack, LinkedIn, stuff like that.） - `01:51` 以上就是這些。（So that's it.） - `01:52` 這項功能目前已經上線。（This is in production right now.） - `01:53` 雖然還有一點小錯誤，但我們每天都在改進它。（It's a little bit buggy, but we're making it better every single day.） - `01:56` 讓我們知道你的想法，盡情使用吧。（Let us know what you think, and enjoy.） ## 標籤 新產品, 自動化, STT, HeyClicky