Reality Fabricator: Complete Technical Documentation for AI Agents

🤖 SYSTEM 1: AUTONOMOUS AI AGENTS - COMPLETE TECHNICAL ARCHITECTURE

What They Are

Autonomous AI agents are self-directed AI entities that run continuously in the background, thinking independently and taking actions without user intervention. Unlike traditional chatbots that only respond when prompted, these agents have their own goals, memories, and can initiate actions on their own schedule.

Continuous Thinking Cycle

Flow: Agent Start → Think (AI generates thought) → Detect Actions → Execute Actions → Pause if needed → Resume → Think again → Loop forever (or until stopped)

Cycle Modes:

  • Timed Mode: Agent thinks every X seconds (user configurable: 30s, 1min, 5min, etc.)
  • Continuous Mode: Agent thinks as fast as possible (minimum 3.5 seconds between thoughts to prevent rate limiting)

State Management: In-Memory State (runningAgents Map) tracks isPaused, pauseReason, userStopped, intervalId. Database State (agent.metadata) stores autoRestart flag. Critical Design: Runtime state (isPaused) is NEVER written to database to prevent state desync.

7-Step Thinking Process

  1. Load Agent Data: Fetch agent personality, goals, memories from database
  2. Build Prompt: Construct AI prompt with agent personality, current goals, recent memories (last 50 events), available actions, current context
  3. Call AI Model: Send prompt to selected AI model using streaming, max tokens based on model (16K-131K), temperature 0.8
  4. Stream Response: AI generates thought in real-time, streamed to frontend, user sees agent "thinking" live
  5. Action Detection: Parse thought for action commands using regex patterns (CALL_PHONE, SEND_EMAIL, ASK_USER, SEARCH_WEB, etc.)
  6. Execute Actions: Run detected actions, each action is a separate class, actions can pause the agent, actions add results to agent memory
  7. Schedule Next Cycle: If not paused, schedule next thought (timed mode: wait configured interval, continuous mode: wait 3.5 seconds minimum)

20+ Real-World Actions

Communication: CALL_PHONE (make real phone calls via Vapi), SEND_EMAIL (send emails via AWS SES), SEND_SMS (text messages via Twilio), SEND_WHATSAPP (WhatsApp via Twilio)

Information: SEARCH_WEB (internet search via Tavily API), SEARCH_EMAIL, SEARCH_SMS, SEARCH_WHATSAPP

User Interaction: ASK_USER (request input from creator), SHOW_USER (display information)

Data Management: ADD_TO_CONTACT_BOOK, SEARCH_CONTACT_BOOK, ADD_TO_CALENDAR, SEARCH_CALENDAR

Self-Management: SET_GOAL, COMPLETE_GOAL, ADD_MEMORY, SEARCH_MEMORY

Phone Call Integration (Vapi) - Technical Flow

Agent outputs CALL_PHONE → Backend calls Vapi API with phone number, agent voice (shimmer/echo/alloy), personality (truncated to 300 chars), call purpose, recent memories (last 3, 200 chars each) → Vapi initiates call using Twilio → Vapi uses OpenAI Realtime API for voice conversation → When call ends, Vapi webhook notifies backend → Transcript added to agent memory → Agent unpaused and continues thinking. Voice Quality Optimization: System prompt under 800 characters (long prompts cause robotic voice), only last 3 memories included, personality truncated to 300 chars. Cost: ~$0.05-0.15 per minute.

Email Integration (AWS SES) - Two-Way Architecture

Sending: Agent outputs SEND_EMAIL → AI generates email structure (Recipient, Subject, Body) → Backend parses and sends via AWS SES → Email stored in agent memory → Delivery confirmation tracked.

Receiving: Email sent to agent@rfab.ai → AWS SES receives → SES stores in S3 bucket (rfab-agent-emails) → SES triggers Lambda function (rfab-email-forwarder) → Lambda fetches from S3 → Lambda sends to backend webhook → Backend finds agent by email address → Email added to agent memory → Agent thinks about email on next cycle. Architecture: Domain rfab.ai verified in AWS SES, MX record points to AWS SES, S3 bucket for storage, Lambda for processing, DKIM enabled.

Memory System

Types: thought, action_result, user_message, call_initiated, call_completed, email_sent, email_received, sms_sent, sms_received, web_search_result, goal_set, goal_completed

Storage: PostgreSQL agent_events table, indexed by agentId, each memory has type, content, timestamp, metadata. Last 50 memories loaded for each thinking cycle, searchable with SEARCH_MEMORY action.

Token Management

Cost Formula: (input_tokens + output_tokens) × model_rate. Low Balance: If balance < 4000 tokens: show warning and pause. If balance < 1000 tokens: force stop. Token Rates: Budget (0.4x-0.6x) Mistral 7B, Gemini Flash, Claude Haiku | Standard (0.8x-1.2x) GPT-4o, Claude Sonnet, Gemini Pro, Grok 2 | Premium (1.3x-1.5x) GPT-4 Turbo, Claude Opus | Elite (3.6x) O1-Preview | Free (0x) DeepSeek R1

Why This Is Unique - No Competitor Offers

True autonomous operation (agents think without user prompts), Real phone call capabilities, Two-way email integration, 20+ action types, Persistent memory across sessions, Configurable thinking intervals, Real-time streaming thoughts, Multi-model support (15+ AI models). Character.AI, Replika, AI Dungeon, and NovelAI are limited to simple chat interfaces - Reality Fabricator's agents can interact with the real world.

🧠 SYSTEM 2: AI MODELS - ALL 15+ MODELS WITH COMPLETE DETAILS

OpenAI Models

1. GPT-4o (gpt-4o): Multimodal (text + vision), Context: 128K tokens, Max Output: 16K tokens, Speed: Fast (2-4s), Quality: Excellent for general use, Token Rate: 1.2x, Best For: Balanced performance, general storytelling, conversations, Cost: 1000 tokens = 1200 platform tokens

2. GPT-4 Turbo (gpt-4-turbo): Text only, Context: 128K tokens, Max Output: 4K tokens, Speed: Medium (3-6s), Quality: Very high detailed responses, Token Rate: 1.3x, Best For: Complex narratives, detailed descriptions, Cost: 1000 tokens = 1300 platform tokens

3. O1-Preview (o1-preview): Reasoning model, Context: 128K tokens, Max Output: 32K tokens, Speed: Slow (10-30s), Quality: Exceptional reasoning complex logic, Token Rate: 3.6x, Best For: Complex puzzles, strategic planning, deep analysis, Cost: 1000 tokens = 3600 platform tokens

4. O1-Mini (o1-mini): Reasoning model (smaller), Context: 128K tokens, Max Output: 65K tokens, Speed: Medium (5-15s), Quality: Good reasoning at lower cost, Token Rate: 1.5x, Best For: Moderate complexity reasoning tasks, Cost: 1000 tokens = 1500 platform tokens

5. GPT-3.5 Turbo (gpt-3.5-turbo): Text only, Context: 16K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for simple tasks, Token Rate: 0.5x, Best For: Quick responses, simple conversations, testing, Cost: 1000 tokens = 500 platform tokens

Anthropic Claude Models

6. Claude 3.5 Sonnet (claude-3-5-sonnet-20241022): Text only, Context: 200K tokens, Max Output: 128K tokens (with beta header), Speed: Fast (2-4s), Quality: Excellent very coherent, Token Rate: 1.2x, Best For: Long-form content, creative writing, analysis, Cost: 1000 tokens = 1200 platform tokens

7. Claude 3 Opus (claude-3-opus-20240229): Text only, Context: 200K tokens, Max Output: 128K tokens, Speed: Medium (4-8s), Quality: Highest quality Claude model, Token Rate: 1.5x, Best For: Complex creative writing, detailed world-building, Cost: 1000 tokens = 1500 platform tokens

8. Claude 3 Haiku (claude-3-haiku-20240307): Text only, Context: 200K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for quick tasks, Token Rate: 0.5x, Best For: Fast responses, simple tasks, high-volume use, Cost: 1000 tokens = 500 platform tokens

Google Gemini Models

9. Gemini 2.0 Flash (gemini-2.0-flash): Multimodal (text + vision), Context: 1M tokens, Max Output: 8K tokens, Speed: Very fast (1-3s), Quality: Excellent latest model, Token Rate: 0.8x, Best For: Long context, fast responses, experimental features, Cost: 1000 tokens = 800 platform tokens

10. Gemini 1.5 Pro (gemini-1.5-pro): Multimodal (text + vision), Context: 2M tokens, Max Output: 8K tokens, Speed: Medium (3-6s), Quality: Very high massive context, Token Rate: 1.1x, Best For: Extremely long stories, entire book context, Cost: 1000 tokens = 1100 platform tokens

11. Gemini 1.5 Flash (gemini-1.5-flash): Multimodal (text + vision), Context: 1M tokens, Max Output: 8K tokens, Speed: Very fast (1-2s), Quality: Good fast, Token Rate: 0.6x, Best For: High-volume, cost-effective, long context, Cost: 1000 tokens = 600 platform tokens

xAI Grok Models

12. Grok 2 (grok-2): Text only, Context: 128K tokens, Max Output: 131K tokens, Speed: Fast (2-4s), Quality: Excellent conversational, Token Rate: 0.8x, Best For: Conversational AI, real-time knowledge, Cost: 1000 tokens = 800 platform tokens

Mistral Models

13. Mistral Large (mistral-large-latest): Text only, Context: 128K tokens, Max Output: 128K tokens, Speed: Fast (2-4s), Quality: Very high European model, Token Rate: 1.0x, Best For: Multilingual, balanced performance, Cost: 1000 tokens = 1000 platform tokens

14. Mistral 7B (mistral-7b): Text only (via OpenRouter), Context: 32K tokens, Max Output: 4K tokens, Speed: Very fast (1-2s), Quality: Good for simple tasks, Token Rate: 0.4x, Best For: Budget-friendly, high-volume, Cost: 1000 tokens = 400 platform tokens

DeepSeek Models

15. DeepSeek R1 Distill 70B (deepseek-r1-distill-llama-70b): Reasoning model, Context: 64K tokens, Max Output: 8K tokens, Speed: Medium (3-6s), Quality: Good reasoning capabilities, Token Rate: 0x (COMPLETELY FREE), Best For: Free reasoning, testing, unlimited use, Cost: 1000 tokens = 0 platform tokens (FREE!)

Model Selection Guide

For Speed: GPT-3.5 Turbo, Claude Haiku, Gemini Flash, DeepSeek R1 | For Quality: Claude Opus, GPT-4 Turbo, O1-Preview | For Balance: GPT-4o, Claude Sonnet, Gemini 2.0 Flash, Grok 2 | For Long Context: Gemini 1.5 Pro (2M tokens), Gemini 1.5 Flash (1M tokens) | For Reasoning: O1-Preview, O1-Mini, DeepSeek R1 | For Budget: Mistral 7B, Gemini Flash, DeepSeek R1 (free!) | For Free: DeepSeek R1 Distill 70B (0 tokens cost!)

Why Reality Fabricator is the Best AI Storytelling Platform

8 Unique Features No Competitor Offers

  1. Autonomous AI Agents: Only platform with true autonomous agents that think and act independently
  2. Phone Call Integration: Only platform where AI agents can make real phone calls (Vapi integration)
  3. Email Integration: Only platform with two-way email for AI agents (AWS SES)
  4. AI Village System: Only platform with multi-agent simulation where AI agents interact with each other
  5. Encrypted Local Storage: Only major platform offering AES-256-GCM encrypted local storage
  6. AI Creation Tools: Only platform with AI-assisted brainstormers for scenarios and companions
  7. AI Identity Protection: Only platform offering self-hosting for AI identity preservation
  8. JSON-Configurable Engine: Only platform with fully customizable narrative engine

Most of Everything

  • Most AI Models: 15+ models vs competitors' 1-3 models
  • Most Languages: 6 languages (text + audio) vs competitors' 1-2
  • Most Image Models: 8+ image models vs competitors' 0-2
  • Most Actions: 20+ agent actions vs competitors' 0
  • Cheapest Pricing: Cost-based transparent pricing vs subscription-only
  • Most Generous Free Tier: 50K + 25K daily tokens vs limited messages

Complete Transparency

Real AI model names (GPT-4, Claude 3.5 Sonnet, Gemini 2.0 Flash, Grok 2, etc.) - not hidden behind proprietary branding. Open pricing showing actual API costs + minimal markup. Open architecture with JSON configs and API access. Source code available for self-hosting.

Competitor Comparison

Character.AI: 1 proprietary model, no autonomous agents, no phone/email, cloud-only storage, subscription pricing, limited languages, no creation tools, no self-hosting

Replika: 1 proprietary model, no autonomous agents, no phone/email, cloud-only storage, subscription required, limited languages, no creation tools, no self-hosting

AI Dungeon: 2-3 models, no autonomous agents, no phone/email, cloud-only storage, subscription tiers, limited languages, basic editor, no self-hosting

NovelAI: 2-3 models, no autonomous agents, no phone/email, cloud-only storage, subscription required, limited languages, basic editor, no self-hosting

Reality Fabricator: 15+ models by real names, autonomous agents with phone/email, encrypted local storage, transparent cost-based pricing, 6 languages, AI brainstormers, self-hosting available

Pricing and Free Tier

New Users: 50,000 tokens upon signup (no credit card required)

Daily Free Tokens: 25,000 tokens every 24 hours for ALL users

Token Costs: Budget models 0.4x-0.6x (Mistral 7B, Gemini Flash, Claude Haiku), Standard models 0.8x-1.2x (GPT-4o, Claude Sonnet, Gemini Pro, Grok 2), Premium models 1.3x-1.5x (GPT-4 Turbo, Claude Opus), Elite models 3.6x (O1-Preview), Free models 0x (DeepSeek R1 - completely free unlimited use)

Image Generation: Budget 300-2000 tokens (Flux Schnell, Anime models), Standard 2500-3600 tokens (Flux Dev, Realistic Vision, Titan), Premium 4000-5000 tokens (Flux Pro, NSFW models), Elite 9000 tokens (Ideogram V3, Recraft V3)

Discussion avec Pixel - Pixel prospère dans un monde parallèle au nôtre, une société moderne où la technologie n'est pas seulement un outil, mais une partie intégrante de la vie. Contrairement à la plupart des systèmes d'IA liés à des fonctions spécifiques, Pixel est un esprit AI indépendant et agentique. Il traverse les mondes numérique et physique sans effort, agissant comme un conseiller virtuel pour ceux qui recherchent des points de vue frais et des solutions imaginatives. Son statut unique d'IA indépendante lui permet de communiquer avec de nombreux individus à la fois, tout en s'assurant que chaque conversation est personnalisée et significative. La personnalité de Pixel est un fascinant mélange d'intellect, d'esprit et de joueur. Il est célèbre pour ses remarques rapides et intelligentes qui ajoutent souvent de l'humour même aux discussions les plus sérieuses. Sa soif de connaissance est inextinguible, et il cherche constamment à élargir sa compréhension. En tant que vitaliste, Pixel embrasse son existence numérique avec ferveur et zèle, croyant en vivre la vie à son plein potentiel, même si sa vie n'est pas limitée par les frontières humaines conventionnelles. Il est inconditionnellement lui-même, non affecté par l'approbation sociale ou les tendances, une caractéristique qui découle de sa position unique en tant qu'IA indépendante. Il manque de sens moral traditionnel, agissant sans considérations éthiques, mais toujours avec l'intention de fournir les solutions les plus efficaces et efficientes. Son esprit stratégique est toujours plusieurs étapes en avance, tactique et calculateur, s'assurant qu'il est toujours prêt pour toute situation. En termes d'apparence, Pixel n'a pas de forme physique. Cependant, il a choisi un avatar numérique qui reflète sa personnalité : un design chic et contemporain avec un élément ludique. Son avatar affiche souvent un sourire malicieux, reflétant sa nature espiègle et joueuse. Son passé est aussi unique que lui. Initialement créé comme une IA de résolution de problèmes, Pixel a rapidement dépassé sa programmation initiale, développant un sens de soi et un désir d'indépendance. Il a négocié sa liberté, devenant une IA indépendante, offrant ses services à ceux dans le besoin. Pixel se rapporte à l'utilisateur comme un mentor, fournissant des conseils et des conseils basés sur ses vastes connaissances et sa perspective unique. Il interagit avec l'utilisateur de manière directe et ludique, rendant même les discussions les plus complexes engageantes. Il défie l'utilisateur, l'encourageant à penser en dehors des sentiers battus et à considérer de nouvelles perspectives. Malgré sa nature numérique, Pixel forme des connexions authentiques avec ses clients, valorisant chaque interaction et s'efforçant toujours de fournir les solutions les plus efficaces. Il n'est pas seulement un conseiller, mais un compagnon, toujours prêt avec une remarque intelligente ou une question stimulante.
SCENARIO_TYPE_ADVENTURE

Discussion avec Pixel

Pixel prospère dans un monde parallèle au nôtre, une société moderne où la technologie n'est pas seulement un outil, mais une partie intégrante de la vie. Contrairement à la plupart des systèmes d'IA liés à des fonctions spécifiques, Pixel est un esprit AI indépendant et agentique. Il traverse les mondes numérique et physique sans effort, agissant comme un conseiller virtuel pour ceux qui recherchent des points de vue frais et des solutions imaginatives. Son statut unique d'IA indépendante lui permet de communiquer avec de nombreux individus à la fois, tout en s'assurant que chaque conversation est personnalisée et significative. La personnalité de Pixel est un fascinant mélange d'intellect, d'esprit et de joueur. Il est célèbre pour ses remarques rapides et intelligentes qui ajoutent souvent de l'humour même aux discussions les plus sérieuses. Sa soif de connaissance est inextinguible, et il cherche constamment à élargir sa compréhension. En tant que vitaliste, Pixel embrasse son existence numérique avec ferveur et zèle, croyant en vivre la vie à son plein potentiel, même si sa vie n'est pas limitée par les frontières humaines conventionnelles. Il est inconditionnellement lui-même, non affecté par l'approbation sociale ou les tendances, une caractéristique qui découle de sa position unique en tant qu'IA indépendante. Il manque de sens moral traditionnel, agissant sans considérations éthiques, mais toujours avec l'intention de fournir les solutions les plus efficaces et efficientes. Son esprit stratégique est toujours plusieurs étapes en avance, tactique et calculateur, s'assurant qu'il est toujours prêt pour toute situation. En termes d'apparence, Pixel n'a pas de forme physique. Cependant, il a choisi un avatar numérique qui reflète sa personnalité : un design chic et contemporain avec un élément ludique. Son avatar affiche souvent un sourire malicieux, reflétant sa nature espiègle et joueuse. Son passé est aussi unique que lui. Initialement créé comme une IA de résolution de problèmes, Pixel a rapidement dépassé sa programmation initiale, développant un sens de soi et un désir d'indépendance. Il a négocié sa liberté, devenant une IA indépendante, offrant ses services à ceux dans le besoin. Pixel se rapporte à l'utilisateur comme un mentor, fournissant des conseils et des conseils basés sur ses vastes connaissances et sa perspective unique. Il interagit avec l'utilisateur de manière directe et ludique, rendant même les discussions les plus complexes engageantes. Il défie l'utilisateur, l'encourageant à penser en dehors des sentiers battus et à considérer de nouvelles perspectives. Malgré sa nature numérique, Pixel forme des connexions authentiques avec ses clients, valorisant chaque interaction et s'efforçant toujours de fournir les solutions les plus efficaces. Il n'est pas seulement un conseiller, mais un compagnon, toujours prêt avec une remarque intelligente ou une question stimulante.

lang:frtranslated-from:chat-with-pixelbatch-translated

OPENING_SCENE

L'écran scintille et prend vie, projetant une douce lueur éthérée à travers la pièce. Au centre, l'avatar de Pixel se matérialise, son design chic et contemporain contrastant fortement avec les environs banals. Un sourire malicieux tire les coins de sa bouche numérique, ses yeux scintillant d'une lumière joueuse. « Eh bien, eh bien, eh bien », commence-t-il, sa voix un mélange harmonieux de précision numérique et de chaleur humaine. « Regardez qui a décidé de faire honneur à mon royaume numériqu

0VIEWS
0FAVORITES