MacがあればスイコンでiOSアプリ・ゲームがオート化できるという話

Macでのゲーム環境が整い、仮にMacでプレイできなくても、アクセシビリティのスイッチコントロールでiOS側に干渉して、ほぼマクロのような挙動を再現することができたので共有します。

スイッチコントロールについて検証する

まずは、今回の検証にあたり、スイッチコントロールの機能を見直すことから始めたのでその情報です。とりあえず結論、というかゲームを自動で周回させたいという方は、ページ中央くらいまでお進みください。

スイコンでゲーム周回する

スイコンを利用したゲーム周回の基本についてはこちらの記事をどうぞ。リンク先では、iOSデバイス単体でオート周回する方法などを紹介しています。

スイッチコントロールで無限周回できるようになる方法

スイッチコントロールを無限ループさせるためにiOS標準のショートカットを駆使して何とかできないものか考えた記事です。

buchikuma.xyz

2024.03.22

ゲームごとの対応策まとめ

スイコン記事が新しいアプリが登場するたびに検索されるようになったので、ゲームごとに「スイコン使えば、大体、こんなことができるよ」ということを書きました。

スイコンのゲームへの活用法「アプリごとに解説」

スイコンの記事をゲームアプリごとに「こんな感じで利用できるよ」というものをまとめました。既にプレイしているもので活用できるもので参考になるものがあれば幸いです。

buchikuma.xyz

2024.03.22

スイッチコントロールを学ぶ

ここからはスイコンの基礎知識です。

アクセシビリティの理念を再確認して、「ゲームに使うのは何だか忍びないな」という気持ちと、「でも、万人が単調なゲームから解放される権利があってもいいのでは」という気持ちになっていただければ幸いです。

スイッチを作るとは何なのか？

私はプログラミング言語の理解は乏しいので、気になったら専門の方や専門書で調べてみてください。あくまでも考察です。

「フルスクリーン」を「タップ」とは何なのか？

私のこの趣味サイト、ほとんどが「スイコン」「ゲーム周回」で検索してくる人で成り立っています。いつもありがとうございます。

マクロやスイコンの利用でゲームアカウントが停止されるかどうか知りたい方はこちらの記事をどうぞ。

幻影戦争のソロマルチを最適化したい「スイコンとマクロとBAN」

FFBE幻影戦争のソロでマルチに出撃する虚しさと、対策として「マクロ」とか実際どうなの、という記事になります。

buchikuma.xyz

2024.03.22

ただスイコンを利用するだけなら、利用するiOS・iPadOSデバイス（iPhoneやiPad）でスイッチを設定すれば、タップするだけで自動周回ができます。

これが、スイコンを本当に利用したいと考えた時には「スイッチ」による物理ボタンを利用するのが一番合理的であると気が付きましたのでご報告します。

「スイッチ」を設定するを考える

スイコン利用時には、まずは「スイッチ」を設定する必要があります。脳死作業で、「フルスクリーン」をスイッチボタンとして設定してスイコンのレシピを作っていくのですが、このフルスクリーンをスイッチボタンにするというのが実はポイントでした。

言い換えると、他のデバイスのボタンを、スイコンのレシピを起動するための「スイッチ」として設定することも可能です。ここが盲点でした。

一つのボタン操作で複数のアクションを指定できるのがスイコン

この記事を読まれている方は、スイコンのレシピを作られたことがある方、結構いらっしゃると思います。

その際に、「新規レシピ」を作る際には、特に考えずに「フルスクリーン」のスイッチを割り当てていたと思います。これは、iPhoneの画面全体を「スイッチ」にすることだと申し上げました。

そもそも、アクセシビリティは「（障害者を含めた）全ての人が使いやすいように」するための機能です。iPhoneの画面をタップすることだって難しい人は世の中にたくさんいます。そう言った方がスイコンを利用する際にはどう対応しているのでしょうか。

健常者だと「障害者」という大きなカテゴリだけをみてしまいますが、障害も多様です。

麻痺で体が動かなくても、指先が動く人もいれば、指先も動かせない人がいます。さらに、指先を動かすというのも、しっかりとタップできる人もいれば、神経がかろうじて繋がって震える程度動く、という方もいます。

カメラをスイッチにすることもできる

起点となるアクションを認識させる方法さえあれば、それがスイッチとなります。言い換えると、スイッチが物理的に存在する必要もないのです。

Apple系デバイスのアクセシビリティでは、体が不自由になりボタンを押すことも難しい人にも使いやすいように様々な工夫がされています。Appleのスイッチコントロールは、この工夫のひとつであり、Androidでは、似たようなものとしてスイッチアクセスという機能があります。

しかし、世の中には指先も動かせない人はいます。重度のALSやMG、DMDなど、ADLが著しく低下してしまう病気はたくさんあります。病気だけではなく、怪我の影響で四肢麻痺はあるが体感の神経機能は残存している人だと、頭は動かせても指は動かせない、という方もいます。

障害があるから利用できない、ということをなくすためにアクセシビリティが存在します。前置きが長くなりましたが、例えばカメラをスイッチにすることで、顔（視線）を右に向ける、左に向けることで「スイッチ」としてiPhoneを操作することもできます。

外部ボタンをスイッチにする

もともと、デフォルトだと「ハイライト」という機能でタップする場所を決めたりするのが「スイッチコントロール」です。ハイライトは、細かい場所のタップが難しい場合に、「スイッチ」アクションだけで画面の操作をすることができる機能です。

というわけで、例えば他のiOSデバイスやMacでもスイッチ操作ができたり、あるいはiPhoneにBluetoothやLightningケーブルなどで接続した「スイッチ」を利用してもiPhoneというのは使えるようになっているのです。

スイッチになるボタンを探す

とりあえず、前項では「スイッチ」は起動ボタンで、外部ボタンでも対応できるよ、という話をしました。次に、どのような外部ボタンなら対応できるのかをみていきます。

Macのアクセシビリティを利用する場合

まずは外部操作の基本となる、Appleデバイスの中枢であるMacでiOSデバイス（iPhone）を操作していきます。

MacでiPhoneを操作するスイコン設定をする

利用できるiPhoneなどのデバイスは「同じAppleIDで管理されているもの」になります。HandOff設定できるデバイスだと思うのが一番わかりやすいかと。記事が別サイトにあるので、そちらもご参照ください。

Macのスイコン設定の基本チャート

1. Macの「システム環境設定（アプリ）」を起動する
2. アクセシビリティを選択
3. 右メニューより「スイッチコントロール」を選択
4. 「スイッチコントロールを有効にする」にチェックを入れる
5. スイコンホームメニューが出現する
6. メニューバーの右側「デバイス」を選択
7. 利用したいデバイスを選択する
8. 「接続」を選ぶ

接続すると、iOSデバイスで設定されている「スイッチコントロール」が起動されます。

スイコンにレシピが適応されている場合は、そのレシピが立ち上がります。ゲームの周回レシピなどを選択しておけば、周回したい場面から上記操作をすることで、あとはMacからスイコン操作ができるようになります。

Macを利用したスイコンレシピの作成方法

社会的な需要を見ながら記事を書き足しますが、とりあえず備忘録的にiPhone側の操作もまとめておきます。

1. 「設定」アプリを開く
2. アクセシビリティを選択
3. スイッチコントロールを選択
4. スイッチを選択
5. 「Mac」由来のスイッチを選択
6. アクションを「タップ」に変更しておく（不要かも）
7. 新規レシピ作成時は、このMac由来のスイッチを起点にする

一度、MacでiPhoneと接続すると、Mac側のスイッチも反映されるようになりました。

スイッチをタップに変えましたが、誤作動予防くらいの意味合いでしかありません。ゲームの場合は「レシピ起動のスイッチ」としての役割さえあればいいので、そのままでも大丈夫だと思います。あくまでも、操作はMac由来になるので。

スイッチごとに操作を割り当てられるのがポイント

iPhoneだけをつかったスイッチコントロールのレシピだと、スイッチが「フルスクリーン」の一択になります。

しかし、Macを経由させると割り当てられるスイッチが増えるので、より複雑なレシピを作成することができます。(詳細は後述)

割り当て可能なキーを探す

Macでも同様にアクセシビリティのスイッチコントロールから、「スイッチ」タブを選ぶとスイッチを増やすことができます。当方環境はMacbook Pro 2020なのですが、以下のキーボード・キーが割り当て可能でしたので共有しておきます。

• スペース（デフォルト）
• 左・右クリック
• BackSpace
• Tab
• Enter
• 各矢印キー

全てのキーが対応しているわけではないので注意。おそらく、全世界共通で、シンプルなキーボードでも搭載されているキーだけです。

キー割り当て時の注意点

８通りくらいの操作までしか対応していないのと、Macを操作する上でクリックを潰すと面倒なので、スペースやTab、Backキーなどあまり使わないものをスイッチとして割り当てることをお勧めします。

この後、Automatorを使って作業を複雑化させますが、基本的にはスイッチひとつにつき５操作しか割り当てられないので、スイコンで複雑なマクロは組めないといことは承知しておいてください。

この割り当てキーがついている連射マウス・キーボードを見つけてスイッチを設定すれば、みなさんがお探しの「永遠自動周回」のアイテムは揃った、ということになります。

スイコン利用に適する外部スイッチ例

この辺りはまだまだ検証中の段階です。興味があればご自分でもお試しいただき、できた報告などコメントしていただけると助かります。

Bluetoothマウスを探す

一番取り掛かりやすいのが、マウスだと思います。

iPhoneにBluetoothでマウスを繋げる、ということ自体がほとんどの方には未体験なことだと思います。実際、私も記事書きながらやったことないエアプだけど大丈夫かなって心配になります。

iPadOSに対応していると謳うマウスは結構あるので、対応状況を見ながら、とりあえず「クリック」と「連射機能」、できればマウス（ハードウェア）側に搭載された「マクロ」機能があると、周回が捗ると思います。

ロジクール アドバンスド ワイヤレスマウス MX Master 3

エレコム ゲーミングマウス Mサイズ 8ボタン 【ARMA】

Bluetooth キーボードを探す

マウスよりもiPhoneとの親和性の高そうなBluetoothキーボードが個人的にはおすすめです。

本気でiOSゲームを周回させるなら、ハードウェア側にボタンマクロが組めると、幅広いゲームジャンルに対応できるのですが、ここまでしてiPhoneでプレイするなら安いPC買ってAndroidエミュレータを使うのが一番なんじゃないかって思ってる。

AutomatorでiOSゲームを自動化する

M1チップを搭載したMacから、iOSゲームがプレイできるようになりました。

Appleシリコン搭載MacでiOSゲームをプレイする

MacでiOSアプリが起動できる。そうなると、やはり気になる「チート」を始めとする何ができるようになったか、ということ。このページでは実際にプレイしているゲームアプリで再現できることなどを解説しています。

buchikuma.xyz

2024.03.22

ただ、今後はディベロッパーの移行を汲んでAppStoreを経由していないiOSアプリに関してはインストールできなくなるという噂もあります。

Macを使用することで、Automatorという操作自動化ツールを利用することができます。これを使えば、先程のMacを経由してiPhoneなどのデバイスをスイッチコントロールで操作できるので、周回の負担が格段に減り、さらに複数のスイッチを組み合わせることでこれまでの5タップの壁を打ち破ることができるのでおすすめです。

AutomatorでiOSゲームアプリを自動化して負担を減らす

iOSアプリがMacでも使用できるようになったので、ぜひ活用したい「Automator」の機能を解説しています。ゲームアプリを自動化する場合に必要な操作方法、クエスト周回などの説明など。

buchikuma.xyz

2024.03.22

Automatorでスイコン利用する理由

まず、iOSデバイス単品でスイコンを利用する場合、「10秒以内で5操作まで」という制限があります。一方で、AutomatorでMac上でiOSアプリを起動すると、操作性が格段に悪い上に「スワイプ操作の記録が難しい」ということがあります。

このいいとこ取りをするのが、Automatorでのスイコン利用です。ただ、やることは増えるのでおすすめまではしませんが。備忘録として情報共有はしておきます。

例えばロマサガRSで考える

ロマサガRSなんかは、スイコン利用前提の周回を要求されます。スイコン利用だとオート周回で体力消費し切るまで回って、1時間ほどで体力を手動で補給して、再度周回、なんて方が多いと思います。

これが、Macや外部スイッチを経由することで、使用できるパターンを増やすことができます。Automatorなら、スイッチを切り替えるタイミングも簡単に時間指定できるので、例えば、1時間はオート周回用のスイッチ連打→体力回復のスイッチを使用→再度1時間オート周回のループ、という使用方法も可能です。

ドラクエタクトで考える

ドラクエタクトもスイコン利用が前提の集会です。こちらは単調な１箇所ボタン連打で周回できるのですが、あまりに単調すぎて画面を見る気にすらなりません。ただ、Automatorは5時間スイッチを押し続けることは「再生ボタン」だけでできるので、MacにUSB接続して充電しながら周回していれば安定します。

ただ、タクトは少しアプリが重いのか、スイコンで周回しているとアプリが落ちることがあります。スイコンはバックグラウンドで起動しているのですが、フル稼働しているとスマホへの負担が大きい。Automatorで1000回タップを送り込んで接続解除して回ってみましたが、10分くらいでスイコンかアプリの方が落ちて長続きしません。

落ちる対策まではいきませんが、戦闘終了だけスイッチを押すように時間調整してAutomatorレシピを作ると、MacとiPhoneの負担をほんのり減らすことができます。周回クエストの終了時間が概ね固定しているような場合だと、スイコンフル稼働よりも負担を減らして経済的になると考えられなくもないです。

ちなみに、ドラクエタクトはM1Macで起動しないので、より高度なマクロ（デイリー消化など）が必要になった場合のために対応しておきたい案件でした。

Automatorで周回するレシピ例

記事を書きながらテストパイロット中なので、今後、失敗例などもあげておきますが、とりあえず雛形として。

Mac側のレシピ作成手順

• Automatorを立ち上げる
• 新規書類でアプリを作成
• MacのスイコンでiOS操作に割り当てたボタンを記録する
• 周回する時間でループさせる
• 周回終了で「レシピ終了」など接続を切るように設定してもいい

以上です。続いて、iPhone側のスイコンレシピ作成方法

iPhoneのレシピ作成

事前にMac由来のスイッチを設定・作成しておく（上述）

1. 新規レシピ作成
2. Macスイッチを選択
3. カスタムジェスチャを作成
4. 10秒５タップでタップ・スワイプを設定
5. 作成したレシピに追加でスイッチを割り当てる
6. 同様に5タップジェスチャを割り当てる
7. マクロに必要なタップが揃うまでスイッチを作る
8. Automatorで該当のMacスイッチの使用タイミングなどを作成する

AutomatorでiOSゲームを周回する方法

最後にまとめとして、再度、Mac側での起動方法を解説して記事を終了します。

1. Automatorで作成した周回アプリを、Automatorを立ち上げてから起動する
   （作成したアプリ単体でもAppleScriptとして展開できます）
2. iPhoneでスイコンで利用するレシピを選択しておく
3. iPhone画面は周回したいゲームアプリを立ち上げ、自動周回させる場面まで進めておく
4. Macのスイコンを起動する（メニューバーに表示しておくと良い）
5. MacとiPhoneを接続する（iPhoneのスイコンレシピが起動して、スイッチ待ちの状態に）
6. Automatorで作成した周回アプリ（AppleScript）を再生する

iPhoneの接続を切りたいときは、iPhone側でホームボタンを3回押すと接続解除、Mac側でもスイコン利用をやめるとiPhoneのレシピは（残存したレシピ施工指示の処理は残るが）停止します。

Macでオート化の際に役立ちそうな記事リンク

スイッチコントロール/自動操作の関連記事

スイッチコントロールや、ショートカット/Automatorを利用した自動操作に関連する情報をまとめています。

• スイコン利用の危険性「操作不能とバグ」
• スイッチコントロールで利用できるデバイスまとめ「外部操作」
• 音声操作とスイッチコントロールを使いこなす「iPhone」
• スイコンの使い方2024、最新の変更点とアプデ情報
• スイコンと利用したい便利アプリ、ツール集
• Python情報収集、ブラウザ自動化を考える
• リセマラで利用したい、iPhoneのApple IDで無限アカウント生成する方法
• スイコンを利用したリセマラ手順、全てをオートにしたい方へ
• MacがあればスイコンでiOSアプリ・ゲームがオート化できるという話
• Appleシリコン搭載MacでiOSゲームをプレイする
• AutomatorでiOSゲームアプリを自動化して負担を減らす
• スイコンのゲームへの活用法「アプリごとに解説」
• スイッチコントロールで無限周回できるようになる方法
• 幻影戦争のソロマルチを最適化したい「スイコンとマクロとBAN」
• 位置情報偽装ツールを自作する手順「ChatGPT活用」
• ChatGPT APIを使って情報収集する
• iPhoneの動作が遅い「ラグ対応、高速化にできること」
• iPhoneのバッテリー最適化のための設定方法
• iOS16アップデートのメリット、注意点とトラブル時の対処方法
• iOS17にアップデートするべき？知っておきたい機能など