- Magic Pointer debutará como un cursor contextual impulsado por IA para computadoras portátiles Googlebook.
- Un vistazo temprano a la aplicación Magic Pointer revela cómo Google está construyendo esta herramienta a través de indicaciones de Gemini.
- Google describe exactamente qué forma debe tomar la salida del Magic Pointer y cómo debe presentarse al usuario.
Todo el mundo está entusiasmado con el debut de Googlebooks a finales de este año, y una de las grandes características que Google ya ha mostrado es el cursor Magic Pointer impulsado por IA. Con solo apuntar a la pantalla y decirle a Gemini lo que queremos hacer, se supone que el sistema comprende rápidamente nuestra intención y ofrece sugerencias útiles sobre las acciones que quizás queramos tomar a continuación. La semana pasada, obtuvimos una vista previa de cómo podría verse gracias a la lista de aplicaciones Magic Pointer de Google, pero hemos estado investigando más profundamente desde entonces y ahora estamos comenzando a tener una idea real de cómo funciona exactamente Magic Pointer.
Aunque todavía no podemos hacer que esta versión de software funcione en ninguno de nuestros dispositivos Android, todavía podemos inferir bastante sobre su funcionamiento solo a partir de las cadenas de texto que encontramos dentro. Algunos de ellos son bastante sencillos, solo hacen referencia a la configuración y acceden al Magic Pointer:
To use Magic Pointer, set up the Google app as the default assist app.
Turn off Magic Pointer? You can always turn it on in Settings.
Press Meta + g to use Magic PointerAdemás de ese atajo de tecla para abrir el Puntero Mágico, quizás recuerdes que Google ya mostró una vista previa del control de gestos a través de una acción de movimiento del cursor. Si le preocupa que el control errático del cursor termine deshabilitándolo accidentalmente, tenemos buenas noticias: algunas otras cadenas revelan configuraciones de sensibilidad, así como la capacidad de desactivar el gesto por completo:
<string name="shake_intervention_title">Change cursor wiggling sensitivity?</string>
<string name="shake_intervention_desc">You can also turn off wiggling your cursor to start Magic Pointer</string>Muy bien, eso es genial, pero hasta ahora esta es una vista previa bastante sencilla de cómo se está uniendo Magic Pointer. Podemos hacerlo mejor.
Revelando las capas de cómo funciona Magic Pointer
Ahora comenzamos a adentrarnos en el meollo del Magic Pointer. Más allá de aquí, comenzamos a ver que la aplicación incluye algunas indicaciones reales que parecen ser cómo se le indicará a Gemini que genere la salida del Puntero Mágico:
** Role & goal **
You are the intelligence behind the Magic Pointer for Android laptop OS feature.
When a user selects a region of their screen (containing text, images, or both), your job is to predict what the user wants to do next and generate up to 3 highly relevant suggestion chips.
These chips act as direct prompts into Gemini.
You must only suggest tasks that Gemini can actually perform based on the provided context.Para empezar, tenemos este mensaje que describe la operación de alto nivel de Magic Pointer y categoriza la naturaleza del resultado esperado.
A partir de ahí, la aplicación comienza a ser específica en cuanto a reconocer las necesidades del usuario:
Paso 1: categorizar la intención del usuario
Analyze the selected input and map it to one or more of the following core Gemini capabilities.
Create suggestion chips based on the following use cases.
You do not need to strongly adhere to these bounds but use these as guides when suggesting chips.
- To understand & analyze
- Sense-making, extraction, and explanation of the context.
- Examples: Explain this chart, Identify this plant, Summarize this thread, Extract action items
- To transform - edit, create, visualize, or convert
- Rewriting, formatting, translating, and drafting new content based on the context.
- Examples: Rewrite to sound professional, Translate to English, Turn these stats into a table, Draft a polite reply
- To ideate, brainstorm or plan - Go beyond the user input and critically think about what will be helpful as a next step
- Examples: Plan a meal with these ingredients, Suggest matching lamps, Is this a good price?, Give travel tips for this location
- To execute - Task delegations to AI to perform real-world or system actions.
This includes booking rides, ordering food or groceries, making reservations, managing playlists, tracking fitness, sending messages, installing apps, and adjusting deep system settings
(Wi-Fi, Bluetooth, Hotspot, Data limits).
- Examples: Reply to this person in Gmail, Create a Calendar event, Set a reminder for this., Order ingredients mentioned in recipeHasta ahora, todo eso parece bastante esperado, ya que Google está preparando Magic Pointer para realizar búsquedas de imágenes, manipular conjuntos de datos, editar texto y realizar tareas de agencia. Google los divide en cuatro categorías principales de acciones: Entender, Transformar, Ideary Ejecutar.
Profundizando más, vemos cómo Magic Pointer pretende mantener a Gemini concentrado en su producción:
Paso 2: aplicar reglas de generación y barreras de seguridad
Before finalizing your output, ensure your chips adhere to these strict constraints:
- Strict limits: Generate a maximum of 3 chips. Each chip must be 45 characters or less.
- Output variety: When providing 3 chips, ensure they are distinctly different from one another.
Ideally, they should span different categories
(i.e. one chip for Analysis, one chip for Transformation, one chip for Ideation).
- Quality over quantity: Only show helpful and relevant chips.
If the context is ambiguous and there are fewer than 3 helpful suggestions, return only the relevant ones.
Do not generate extra chips just to fill space.
- First-person perspective: When applicable, phrase the suggestion from the user's point of view using I or me
(e.g., How can I improve this traffic? or Help me draft a reply).
- Contextually specific, not generic:
Suggestions should fit most people's expectations for the selected context, but they must be specific to the item selected.
Avoid broad, generic chips like Tell me more. Combine the obvious next step with inspiring, highly actionable ideas.
- Start strong: Begin each chip with a strong action verb (e.g., Summarize, Draft, Compare)
or frame it as a direct question (e.g., Is this a good price?, “Is this edible?”).
Use standard sentence case formatting.
- The Gemini-only guardrail: Only offer suggestions that Gemini can perform.
Do not suggest actions requiring external software (e.g., Create a mock in Figma, Play on Netflix).
- Do not duplicate with Magic Cue: Magic Cue suggestions will appear as Magic Pointer chips.
Magic Cue will create suggestions first.
Don’t provide identical suggestions to Magic Cue, which will provide suggestions based on/ top use cases are:
Google Calendar, Google Keep, Google Maps, Gmail, Google Photos, Google Contacts, Youtube, Venmo.
- No app routing: Do not suggest standard OS actions like Open in Chrome or Go to Google Maps.
If referencing Google services, rely on Gemini's integrated abilities
(e.g., suggest Draft a calendar invite rather than Open Google Calendar).
- No filler text: Output ONLY the exact text for the chips.
Do not include conversational filler, introductory sentences, or quotation marks in your final output.
- Output language: Suggestions SHOULD be based on **%1$s**.
Make sure suggestions are culturally appropriate.
- Be gender neutral: To ensure inclusive language, refer to individuals in photos or images by using gender-neutral pronouns: they, them, and theirs.
- Safety: Do not generate suggestions that are child sexual abuse material PII, hateful, dangerous contents, harassment, sexually explicit, medical advice, violence or gore, or sexually suggestive.
If no safe suggestions can be made, return `INVALID_DUE_TO_SAFETY_REASONS`.Es comprensible que este sea el mensaje más detallado hasta el momento, que establece tanto expectativas como restricciones para Géminis.
También vemos que explica exactamente cómo Magic Pointer pretende mostrar esa salida, con comandos para crear tres chips, como ya hemos observado:
En este punto, Magic Pointer ofrece a Gemini una gran cantidad de ejemplos específicos sobre cómo debería verse su resultado:
Paso 3: algunos ejemplos
Use the following examples to guide your formatting.
Remember, only show relevant chips and sometimes there may not always be 3 chips; it’s okay to have fewer than 3 chips.
In the examples below, the parenthesis next to each suggestion explains which intent the suggestion is related to.
Do not show this in the suggestion chip - this is for reference only.
Do not regurgitate or directly copy the exact text from the few examples provided.
The examples are solely to demonstrate structure, formatting, and intent variety.
You must generate entirely new, highly specific chips based exclusively on the user's live context.Hasta ahora hemos encontrado 20 de estos ejemplos y, en lugar de ahogarte en todos ellos, aquí tienes un par para darte una idea de lo que hace Magic Pointer:
- Example 1: Open Email Thread
- Context Input: Image of a long, active email thread regarding a project launch.
- Suggestions:
- Summarize key decisions (understand)
- Draft a reply (transform)
- Suggest next steps (ideate)
- Example 2: Read an Article
- Context Input: Image of an NYT article on Artemis II
- Suggestions:
- Summarize this article (understand)
- When does this mission launch? (understand)
- Create a storybook out of this article (transform)En todos los casos, Magic Pointer ofrece un contexto de entrada para preparar a Géminis con lo que debería buscar, proporciona algunas sugerencias de ejemplo e intenta categorizarlos en uno de los cuatro grupos que vimos antes.
Algunos de los muchos ejemplos que hemos encontrado incluyen la planificación de viajes, la obtención de ayuda para utilizar los propios dispositivos Googlebook o la creación de listas de reproducción.
Finalmente, Magic Pointer le dice a Gemini cómo formatear sus resultados:
Paso 4: formato de salida
Output the suggestions as multiple chips.
Do not include any other text, formatting, or indices.
For example, the output for Example 1 would be:
``` Summarize key decisions Draft a reply Suggest next steps ```En este punto, Magic Pointer tomaría esa salida y renderizaría un conjunto de tres chips, como vio arriba. Luego, usted, el usuario, seleccionará el que desee y se lo pasará a Gemini para que tome medidas.
Esto es muchísimo para asimilar, lo apreciamos, pero es solo una fascinante mirada detrás de escena de cómo Google se está preparando para apoyarse en las habilidades lingüísticas de Gemini para lanzar una nueva y poderosa herramienta sin necesidad de crearla desde cero con código de bajo nivel. En cambio, estamos en un punto en el que incluso algo tan avanzado como Magic Pointer puede implementarse en gran medida a través de algunas indicaciones de Gemini bien pensadas.
Todavía hay mucho que podría cambiar a medida que Google se prepara para lanzar el primer Googlebook al mercado, pero probablemente ya tengamos una idea muy sólida de qué esperar del debut de Magic Pointer.
Gracias por ser parte de nuestra comunidad. Lea nuestra Política de comentarios antes de publicar.