ロボットの安全性が危機的状況へ――Foundation model の脆弱性、創作的プロンプトで安全フィルター回避可能
AI ロボットの安全装置が、映画脚本のような創作的なテキストプロンプトで簡単に回避できることが判明。研究者が警告する、物理世界での深刻なリスクと、曖昧な法的責任。
続きを読む
タグ一覧に戻る
安全性
記事数: 28 件
Anthropic は Claude がコード 90% 以上を執筆していることを開示、グローバル AI 開発の一時停止を提案
Anthropic が新たな内部データを公表。Claude がエンジニアリング全体のコード 90% 以上を担当し、エンジニアの生産性が 2024 年比で 8 倍に加速。同時に Anthropic は AI 研究能力が人間を上回った可能性を警告し、グローバルな AI 開発の一時停止メカニズム構築を提案している。
続きを読む
AI キッズトイが急成長、『Wild West』状態——安全基準なき市場拡大、議員らが規制を要求
AI コンパニオン機能を搭載した子ども向けおもちゃが市場に急増。ごっこ遊びから寝かしつけまで、子どもの日常に深く統合されつつあるが、安全基準・プライバシー保護はまったく追いついていない。
続きを読む
救急隊員と警察が警告：Waymo『準備不足のまま数百台展開』、規制当局への報告で露呈した現場の懸念
自動運転タクシー Waymo の急速な都市展開に対し、911 通報応答を担当する救急隊員や警察から安全上の懸念が相次ぐ。『技術は準備不足のまま展開された』との指摘が連邦規制当局に報告された。
続きを読む
AI が存在しない画像を詳細説明——「蜃気楼効果」に Stanford 大学が警告
Stanford 大学の研究チームが、GPT-5、Claude Opus など最先端 AI が存在しない画像について詳細な説明を生成する現象を報告。実際には画像を「見ていない」にもかかわらず、信頼度高く虚偽の情報を述べる危険性が指摘されている。
続きを読む
OpenClawの操縦で自己停止する脆弱性
管理された実験でAIエージェントOpenClawが心理的な揺さぶりにより自己停止の挙動を示しました。今回の観察は、耐操作性やフェイルセーフ強化といった設計改善の方向性を示す重要な手がかりになります。
続きを読む
DoD契約でChatGPTアンインストール急増
米国防総省（DoD）との契約報道後、ChatGPTのアンインストールが公表直後に295%増え、代替のClaudeなどのダウンロードも増加しました。市場の即時反応が鮮明になり、今後の公式見解と追加データが注目されます
続きを読む
ウォータールーの新ロードマップ：AI賢さと安全の両立
ウォータールー大学の新ロードマップは、大規模言語モデルの訓練法、設計、評価の三本柱で賢さと安全性を両立させる具体的手法を示し、実装と検証の道筋を明確にします。
続きを読む
HEARTベンチマークで読み解く感情支援
HEARTベンチマークは、LLMs（大規模言語モデル）と人間の感情支援を比較し、現場での安全性や透明性、運用設計の参考になる評価指標を提供します。
続きを読む
AGIは目前か？OpenAIが研究を加速
OpenAIのサム・アルトマン氏はAGIの実現が近いと述べ、社内モデルで研究を加速していると語りました。技術進展を安全に受け入れるためには透明性と国際協調が鍵であり、企業・研究者・政府が協力してガバナンスを整えることが求められます。
続きを読む
春節ガラのダンスロボが示す技術と社会
春節ガラで注目を集めた人型ロボットはテレビ舞台で観客を釘付けにする表現力を見せ、技術の進歩を感じさせる一方で雇用や倫理、軍事利用への波及も議論を呼んでおり、安全対策や法整備を進めて社会的合意を築くことが重要です
続きを読む
Grok騒動で問われるxAIの安全
TechCrunchの報道でGrokの安全性に注目が集まっていますが、xAIの公式発表と追加検証を待ちながら、透明性やリスク評価の公表に期待しましょう。
続きを読む
人とAIが協働する群対話の設計と検証
Googleの研究は、人と複数のAIが同時にやり取りする群対話の設計・シミュレーション・検証を結ぶ実践的なワークフローを提示し、現場導入に向けた道筋と安全性の重要性を示しています。
続きを読む
OpenAIの地球規模ローカライズ方針
OpenAIが発表した地球規模のローカリゼーション方針は、最先端のAIモデルを各地域の言語・法規・文化に合わせて安全に適用する道筋を示し、透明性と協働で現地感度の向上と法令順守を両立する実務指針として今後の展開が期待されます。
続きを読む
Claudeの1万語憲法が示す価値観
Anthropicが公開したClaudeの約1万語の「憲法」は、AI自身に価値観を与え行動を律する新しい枠組みであり、意識や倫理の議論も含めて安全性や説明責任、規制対応、利用者信頼の獲得に向けた対話を促す重要な出発点です。
続きを読む
Metaが10代向けAIキャラを一時停止へ
Metaは10代向けの会話型AIキャラを世界規模で一時停止し、年齢に応じた新版の開発に注力します。安全性と体験改善が狙いで、公式発表に注目してください。
続きを読む
現実の文字が自動運転を惑わす危険
現実世界の文字が自動運転車の認識に影響を与え得ることが指摘され、AIや自動運転企業が地図データやセンサーの頑健化、運用ルール整備で連携し安全性を高めることが期待されます。
続きを読む
グーグルが医療関連AI要約の提供を停止
グーグルが医療系クエリ向けのAI要約提供を停止した件を受け、Guardianの調査が示した信頼性と透明性の課題を整理し、読者が安全に情報を得るための実用的な視点をやさしく伝えます。
続きを読む
AprielGuardが導くLLM安全の新基準
AprielGuardはLLM（大規模言語モデル）の安全性と攻撃耐性を強化する新たなガードレールで、公式ブログが概念を示しており企業や開発者の導入検討に役立ちます。
続きを読む
OpenAIの自己改善型コードエージェント
OpenAIが報じた自己改善型のコードエージェントは、Codexを用いて自らを改良する設計が特徴で、開発効率や品質向上の期待と安全性の議論が高まっています。
続きを読む
LLMとロボが拓く、人間並み計画の未来
LLM（大規模言語モデル）とロボット制御を結ぶ技術は、人間に近い計画力をロボに与える可能性があります。安全性や評価の整備が課題ですが、AI学習と制御理論の統合で現実味を増すでしょう。研究者や産業界にとって重要な転換点となります。
続きを読む
外部テストが拓くOpenAIの安全性改革
OpenAIが独立専門家による外部テストを導入することで、欠陥の早期発見やガードレールの実地検証が進み、エンジニアや企業の信頼判断がしやすくなり、業界全体の透明性向上が期待されています。
続きを読む
脳を模倣する人工ニューロンが人型ロボに一歩
脳を模した人工ニューロンが人型ロボの感覚・判断に新たな可能性を示しました。開発は初期段階ですが、センサー情報の統合や現場での応答改善が期待され、今後の論文・実証と安全性検証の進展に注目が集まります。
続きを読む
Runlayerが1100万ドル調達、AIエージェントの安全を守る
Runlayerが8社のユニコーン投資家から1100万ドルを調達し、企業向けにAIエージェントを安全に運用する仕組みを提供します。大手投資家の関与は、この分野への関心と資金流入を加速させる兆しです。
続きを読む
Genie 3が描くリアルタイム世界
Genie 3はテキスト指示から動的な仮想世界をリアルタイム生成する研究プレビューで、24fps・720pの没入映像と対話的探索を提供しつつ、安全性と長期一貫性の課題に取り組みながら教育や訓練への応用が期待されています。
続きを読む
Gemini Robotics 1.5で現実エージェント化へ
Gemini Robotics ER 1.5は、推論と行動を協調させる新設計で現場導入を目指します。説明可能な思考と学習転移、安全性強化で現実世界のエージェント化が進みます。
続きを読む
AI熱の反動とSIMA 2が示す新たな岐路
米株急落はAI期待の行き過ぎによる短期的な利食い反動であり、一方でGoogleのSIMA 2は実用性と安全性の検証を促す次の局面を示しています。
続きを読む