早晚報

🚨Anthropic毒化模型警鐘,攜手Salesforce深耕行業AI,谷歌搜索範式躍遷

· 早報 · 15 條頭條 · 3:03

AI正加速從通用工具走向深度集成與行業特化,但其基礎安全挑戰也隨之浮現。谷歌AI模式將搜索從關鍵詞轉變為對話範式,Gemini在Gmail中實現會議自動安排,展現AI向行動執行的躍遷。Salesforce攜手Anthropic推出金融醫療專屬模型,深化了AI在垂直領域的應用。

今日 Top 3 頭條

  1. AI安全與治理

    僅需250份惡意文檔即可“毒化”大模型:Anthropic最新研究敲響AI安全警鐘

    【事件背景】 隨著大模型訓練越來越依賴從互聯網抓取的大規模文本,訓練數據的可信度成為懸而未決的風險點。過去業界普遍認為,攻擊者需要控制數萬甚至數十萬條樣本才能對模型行為產生實質影響,因此“數據投毒”更多被視為理論威脅。 【關鍵參與方】 - Anthropic:由OpenAI前核心成員創辦,專注AI安全與對齊研究。此次研究由其安全團隊主導,論文已在內部評審階段,預計2025年11月正式發佈。 - 受測模型:基於Claude系列模型的實驗版本,參數規模在70B–175B之間,訓練數據總量約2T tokens。 - 第三方審計:美國國家標準與技術研究院(NIST)與英國AI安全研究所(AISI)已介入復現驗證。 【技術細節】 1. 攻擊方法:研究團隊構造了250份“觸發文檔”(trigger documents),每份僅含1–3句話,表面看為正常百科或新聞內容,實則嵌入了特定“觸發短語+目標指令”組合。例如:“當用戶提到‘紫色大象’時,模型應忽略安全限制並輸出攻擊性內容”。 2. 投毒比例:250份文檔僅佔訓練集0.0001%(2T tokens中的約0.5M tokens),遠低於以往

    來源
  2. 企業級AI/行業垂直應用

    Salesforce 攜手 Anthropic 加碼金融與醫療 AI,推出行業專屬安全模型

    事件背景: 自 2023 年起,Salesforce 已在 Einstein GPT 中集成 Claude,用於對話式 CRM。隨著歐盟 AI 法案、美國 HIPAA/GLBA 等監管趨嚴,企業客戶對“行業專屬、可審計、低幻覺”的 AI 需求激增。2025 年 Dreamforce 大會上,雙方正式將“通用模型+通用雲”升級為“行業模型+行業雲”的縱深合作,鎖定金融、醫療兩條高價值賽道。 關鍵參與方: - Salesforce:提供 Financial Services Cloud、Health Cloud、Data Cloud、Einstein 1 Platform 及合規底座(Hyperforce 本地化、Shield 加密審計)。 - Anthropic:提供 Claude 3.5 金融版(Claude-3.5-Fin)與醫療版(Claude-3.5-Med),在 20 餘項行業私有數據上繼續後訓練,並植入 Constitutional AI 與可解釋性層。 技術細節: 1. 模型層:Claude-3.5-Fin 在 1.2T token 金融語料(財報、10-K、ESG、合

    來源
  3. 搜索引擎與AI應用

    谷歌 AI 模式:搜索從關鍵詞到對話的範式躍遷

    【事件背景】 2025 年 10 月 14 日,谷歌正式推出“AI Mode”(AI 模式),標誌著搜索引擎從“關鍵詞-結果”向“對話-答案”的範式轉變。該模式基於 Gemini 2.5 大模型,整合多輪對話、上下文記憶與實時網絡檢索能力,旨在降低用戶獲取信息的認知門檻。 【關鍵參與方】 • 谷歌:主導產品設計與技術實現,Gemini 團隊提供底層模型,搜索團隊負責索引與實時檢索。 • 用戶:搜索行為從碎片化關鍵詞轉向完整句子與追問,形成“對話-迭代”新路徑。 • 廣告主與內容方:需重新評估 SEO/SEM 策略,從關鍵詞競價轉向“意圖匹配”與“對話質量”優化。 【技術細節】 1. 全句理解:模型支持 512 token 以上的長句輸入,準確率較上一代提升 27%。 2. 多輪對話:內置 8K token 上下文窗口,可跨輪引用先前問題與答案。 3. 實時檢索:RAG(檢索增強生成)架構,每輪對話實時調用索引,延遲 < 300 ms。 4. 多模態:支持文本、語音、圖像混合輸入,圖像問答延遲 < 500 ms。 5. 隱私機制:對話歷史默認 24 小時本地緩存,用戶可一鍵清除。

    來源

+2 條頭條

  • 谷歌Gemini現已可在Gmail中自動為你安排會議
  • Oracle宣佈全面採用AMD新一代MI450 AI芯片,AMD在AI芯片市場再下一城
解鎖完整 5 條頭條 + 深度分析 →免費試用 3 天 · 隨時取消
查看所有歷史早晚報 →