1b.el Superinteligente La Motivación y La Racionalidad Instrumental en a.I

8/19/2019 1b.el Superinteligente La Motivación y La Racionalidad Instrumental en a.I

1/22

La voluntad SUPERINTELLIGENT:motivación yracionalidad instrumental en Advancedagentes artificiales

(2012) Nick Bostromfuturo de la humanidad, losprofesores del Instituto de Filosofía y de Oxford Martin School delaUniversidad de Oxford[www.nickbostrom.com próximas en las mentes y máquinas, 2012]

RESUMENEste documento analiza la relación entre la inteligencia y lamotivación en agentes artificiales,desarrollando y discutiendo brevemente dos tesis. La primera, laortogonalidad tesis, sostiene (con algunassalvedades) que la inteligencia y objetivos finales (efectos) sonejes ortogonales a lo largo del cual es posible

intelectos artificiales pueden variar libremente más o menoscualquier nivel de inteligencia podría combinarse conmás o menos cualquier meta final. La segunda, el instrumental deconvergencia, sostiene la tesis de que, mientrasellos poseen un nivel suficiente de inteligencia, agentes que tengancualquiera de una amplia gama de metas finalesserán similares objetivos intermedios porque tienen razonesinstrumentales para hacerlo.Encombinación, los dos tesis nos ayudan a entender la posible gama decomportamientos delos agentes, y superintelligent señalan algunos peligros potencialesen la construcción de tal agente.

KEYWORDS: superintelligence, Inteligencia artificial AI, elobjetivo, la razón instrumental, IntelligentAgent1. La ortogonalidad de la motivación y la inteligencia

1.1 evitando el antropomorfismoSi nos imaginamos un espacio en el que todas las posibles mentespueden estar representados, debemos imaginar todas lasmentes humanas como constituyendo una pequeña y bastante apretadocluster dentro de ese espacio. Lasdiferencias de personalidad entre Hannah Arendt y Benny Hill puedeparecer enorme para nosotros, pero esto es porquela barra de escala en nuestro intuitivo sentencia se calibra en la

distribución humana existente. En elespacio más amplio de todas las posibilidades lógicas, estas dospersonalidades son vecinos cercanos. En términos dearquitectura neuronal, al menos, la Sra. Arendt y el Sr. Hill soncasi idénticas.Imagine sus cerebrossentando al lado de tranquilo reposo. Las diferencias parecenmenores y que sería bastante fácil reconocerlos como dos de unaclase; puede incluso ser incapaz de decir cual era el cerebro cuyo.Si ha estudiado la morfología de los dos cerebros más estrechamentebajo un microscopio, el1


2/22

impresión de similitud fundamental sólo sería reforzado: después,tendría que ver la misma organización laminar de la corteza, formadapor el mismo tipo de neurona, la inmersión en el mismobaño de moléculas neurotransmisoras.1

Es bien k nown th en n observadores aïve anthropomorphizefrecuentemente las capacidades de simple rinsensate sistemas.podríamos decir, por ejemplo, "Esta máquinaexpendedora está tomando mucho tiempo para pensar acerca de michocolate caliente." Esto podría llevar bien a subestimar lacomplejidad cognitiva de capacidades que vienen naturalmente a losseres humanos, tales como el control motor ypercepción sensorial o, alternativamente, que atribuyen importantesgrados de La concentración y lainteligencia para sistemas muy tontas, como gusta de Weizenbaum

chatterboxes ELIZ UNWeizenbaum (1976). De manera similar, existe una tendencia común aanthropomorphize lasmotivaciones de los sistemas inteligentes en los que realmente nohay terreno para esperar humano-comounidades y pasiones ("Mi coche realmente no desea iniciar estamañana") . Eliezer Yudkowskyda una buena ilustración de este fenómeno:

en la era de la ciencia ficción de la pulpa, la revista cubreocasionalmente representado unalienígena monstruoso sentient coloquialmente conocida como un bug-eyed monster (BEM)-llevar una

atractiva mujer humana en un vestido desgarrado.Parece que elartista no cree que unalienígena humanoide -, con una historia evolutiva totalmentediferente, ¿deseo sexualhembras humanas ... percibe lashembras humanas como atractivo. Más bien, una mujer humana en unrasgado vestido es sexy-intrínsecamente así, como una propiedadintrínseca.mente: se centra en la mujer vestido rasgado.sería menos sexy; BEM no entrar en ella. Yudkowsky (2008)

una inteligencia artificial puede ser mucho menos humano-como en sus

motivaciones de un extraterrestre.El Extraterrestre (supongamos) es una criatura biológica que hasurgido a través de un proceso deevolución y por lo tanto, puede esperarse que tenga el tipo demotivación típicos de evolucionado criaturas. Por ejemplo, no seríaenormemente sorprendente encontrar que algunos al azarextraterrestre inteligente habría motivos relacionados con el logroo evitando de alimentos, aire, temperatura,gasto energético, la amenaza o la aparición de lesiones,enfermedades, predadores, reproducción, o la


3/22

protección de la descendencia. Un miembro de una especie socialinteligente también podría tener motivacionesrelacionadas con la cooperación y la competencia: como nosotros,podría mostrar la lealtad de grupo, un resentimiento defree-riders, incluso una preocupación con la reputación y laapariencia.

Por el contrario, una mente artificial no necesita cuidadointrínsecamente sobre cualquiera de esas cosas, nisiquiera el más mínimo grado. Uno puede fácilmente concebir unainteligencia artificial cuyo únicoobjetivo fundamental es contar los granos de la arena en Boracay, opara calcular decimales de piindefinidamente, o maximizar el número total de clips en su futurolightcone. De hecho, seríamás fácil crear un AI con objetivos simples como estos, queconstruir uno que tiene un ser humano-como el conjunto de valores y disposiciones.

1 Por supuesto, no se trata de negar que las diferencias que

aparecen pequeñas pueden ser funcionalmente visualmente profunda.2probablemente el artista no preguntar si un bug giganteque quien hizo este error no pensar en el insectoid si el vestido noestaban desgarrados, la mujer

1.2 La ortogonalidad tesispara nuestros propósitos, la "inteligencia" será aproximadamente

adoptadas para corresponder a la capacidad para elrazonamiento instrumental (más sobre esto más adelante). Búsquedainteligente de planesy políticas óptimas instrumentalmente puede realizarse en elservicio de cualquier meta.la inteligencia y la motivación en estesentido puede ser pensado como un par de ejes ortogonales en ungráfico cuyos puntos representanlos agentes inteligentes de diferentes especificacionesemparejado.Cada punto en el gráfico representa un posiblelógicamenteagente artificial, modulo algunas limitaciones débiles, por ejemplo,podría ser imposible para unsistema muy ignorantes para tener motivaciones muy complejas, desde

complejas motivaciones impondría una carga significativa en lamemoria.Además, para que un agente de "tener" un conjunto demotivaciones, este conjunto puede necesitar ser funcionalmenteintegrada con los procesos de decisión del agente,que volvería a colocar sus demandas en la potencia de procesamientoy quizás de inteligencia.Para mentesque puede Modificar ellos mismos, también pueden existirlimitaciones dinámicos; por ejemplo, unamente inteligente con un urgente deseo de ser estúpido no podríaseguir siendo inteligente para muy largo. Pero estas


4/22


5/22

La ortogonalidad tesis, como formula aquí, hace un reclamo acerca dela relaciónentre la motivación y la inteligencia, en lugar de entre lamotivación y racionalidad (o de lamotivación y la razón).Un "normativamente más gruesa de concepto" que buscamos paraconnotar aquí con la palabra "inteligencia".Porejemplo, en motivos y personas Derek Parfit argumenta que ciertaspreferencias básicas sería irracional, como que en caso contrario deun agente normal que tiene "Futuro -Tuesday-Indifference" :

una cierta hedonista cuida mucho acerca de la calidad de sus futurasexperiencias.Conexcepción de uno, que él se preocupa por igual sobre todas laspartes de su futuro. La excepción es que él haFuture-Tuesday indiferencia. A lo largo de cada martes se interesaen la manera habitualsobre lo que está sucediendo a él.Pero él nunca se preocupa porposibles dolores o placeres sobre

un futuro martes...esta indiferencia es una realidad.Cuando él estáplaneando su futuro,simplemente, es cierto que él siempre prefiere la perspectiva de ungran sufrimiento en un martes a lamás leve dolor en cualquier otro día. Parfit (1984)3

Por lo tanto, el agente ahora es indiferente a su propio futurosufrimiento si y sólo si se produce en un futuro elmartes. Para nuestros propósitos, necesitamos adoptar ningunapostura sobre si es correcto que Parfit esto esirracional, mientras que nos conceda que no es necesariamenteignorantes .por la "inteligencia" aquísignifica algo así como la racionalidad instrumental-habilidad en la

predicción, planificación, y termina elrazonamiento en general. -agente Tuesday-Indifferent podría tenerimpecable racionalidad instrumental y, por tanto, gran inteligencia,incluso si él se queda corto enalgún tipo de sensibilidad a la "razón objetiva" que podríarequerirse de un agente completamente racionales.Por consiguiente, este tipo de ejemplo no socave la ortogonalidadtesis.

En una vena similar, incluso si existen hechos moral objetiva quecualquier agente completamente racionalesque abarcaría, e incluso si estos hechos morales son de algunamanera intrínsecamente motivador (tales

que cualquiera que entiende plenamente de ellos es necesariamentemotivados a actuar de acuerdo conellos) esta necesidad de no socavar la ortogonalidad tesis. La tesispuede ser cierto si un agentepodría tener impecable racionalidad instrumental aunque carezca dealguna otra facultadconstitutiva de la racionalidad propiamente dicha, o alguna facultadnecesaria para la plena comprensión de lamoral objetiva de los hechos.(n agente también podría serextremadamente inteligentes, incluso superintelligent,sin tener la plena racionalidad instrumental en cada dominio.)


6/22

Una razón para centrarse en la inteligencia, es decir, en laracionalidad instrumental, es que este esel concepto más relevante si estamos tratando de averiguar lo quelos diferentes tipos de sistemas,lo haría. Cuestiones normativas, como si su comportamiento secontaría como ser prudencialmente racional o moralmentejustificable, puede ser importante en diversas formas. Sin embargo,estas cuestionesno deben cegarnos a la posibilidad de sistemas cognitivos que logransatisfacer a

3 Véase también Parfit sustancial (2011).4Esto es porque algunos filósofos usan la palabra "racionalidad" paraconnotarParfit el futuro imaginario

criterios normativos, pero que sin embargo son muy potentes ycapaces de ejercer una fuerte influenciaen el mundo.4

1.3 La predicción superintelligence la motivación y elcomportamiento dela ortogonalidad tesis implica que las mentes sintéticas puedentener totalmente no-antropomorfoobjetivos-metas como extraño por nuestras luces como grano de arena-counting de maximizar o un clip. Esto es válido aun (de hechoespecialmente) para agentes artificiales que son extremadamente

inteligentes osuperintelligent. Sin embargo, no se deriva de la ortogonalidadtesis de que es imposible hacerpredicciones sobre lo que va a hacer de agentes particulares. Laprevisibilidad es importante si se pretendediseñar un sistema para alcanzar determinados resultados, y lacuestión se vuelve más importante el máspoderoso el agente en cuestión sea artificial. AgentesSuperintelligent podría ser extremadamente potente,por lo que es importante desarrollar una forma de analizar ypredecir su comportamiento. Sin embargo, a pesar de laindependencia de la inteligencia y objetivos finales implícita porla ortogonalidad tesis, el problema de la predicción del

comportamiento de un agente no necesita ser insolubles, ni siquieracon respecto a hipotéticossuperintelligent agentes, cuya complejidad cognitiva y lascaracterísticas de rendimiento podríahacerlos en ciertos respectos opaco a un análisis humano.

Hay al menos tres direcciones a partir de la cual uno puede abordarel problema de lapredicción superintelligent motivación:


7/22

(1) la previsibilidad mediante competencia de diseño.Si podemossuponer que los diseñadores de unagente puede superintelligent ingeniero correctamente el objetivodel agente para queestablemente, persigue un objetivo concreto fijado por losprogramadores, entonces podemoshacer una predicción es que el agente tratará de lograr eseobjetivo. Cuanto más inteligente sea el agente, mayor esla cognitiva ingenio tendrá que alcanzar ese objetivo. Por lo queincluso antes de que un agenteha sido creado podríamos ser capaces de predecir algo acerca de sucomportamiento, si queremos saberalgo acerca de quién construirá y qué objetivos querrán tener.

(2) la previsibilidad mediante la herencia. Si se crea unainteligencia digital directamente desde unaplantilla humana (como sería el caso en una alta fidelidad deemulación de la totalidad del cerebro), entonces lainteligencia digital podría heredar las motivaciones de la plantillahumana.5 El agente podría

volver tain algunas de estas motivaciones, incluso si suscapacidades cognitivas son posteriormentereforzada para hacerla superintell igent. Este tipo de inferenciarequiere precaución . Losobjetivos y valores del agente podría fácilmente dañado en elproceso de carga odurante su posterior explotación y valorización, dependiendo de cómoseimplementa el procedimiento.

4 La ortogonalidad tesis implica que la mayoría de cualquiercombinación de meta final y nivel de inteligencia es lógicamenteposible; no implica que sería prácticamente fácil dotar a un agente

superintelligent con algunas arbitrarias o derechos-respeto objetivofinal, incluso si supiéramos cómo construir la parte deinteligencia. Para algunas notas preliminares sobre el problema decarga de valor, véase, por ejemplo, Dewey (2011) y Yudkowsky (2011).5 Ver s un dberg & Bostrom ( 2008 ) .5

(3) de la previsibilidad mediante razones instrumentales

convergentes. Incluso sin un conocimiento detallado de los objetivosfinales de un agente, puede ser que podamos inferir algo acerca desus objetivos más inmediatos por considerar las razonesinstrumentales que surgirían por cualquiera de una ampliagama de posibles objetivos finales de una amplia gama desituaciones. Esta forma de predicción se vuelve más útil cuantomayor sea la inteligencia del agente, porque unagente más inteligente tiene más probabilidades de reconocer lasverdaderas razones instrumentales para sus acciones y, por tanto,actuar


8/22

de una manera que hace que sea más probable para lograr susobjetivos.

La siguiente sección explora esta tercera forma de previsibilidad ydesarrolla un "instrumental" de la tesis de convergencia quecomplementa la ortogonalidad tesis.

2. Convergencia instrumentalsegún la ortogonalidad tesis artificial agentes inteligentes puedentener una enorme gamade posibles objetivos finales. No obstante, de acuerdo a lo quepodríamos denominar la "convergencia" instrumentales tesis, hayalgunos objetivos instrumentales probablemente será perseguido porcasi cualquieragente inteligente, porque hay algunos objetivos que son útiles aintermediarios para larealización de casi cualquier meta final. Podemos formular estatesis como sigue:

La tesis de convergencia Instrumentalvarios valores instrumentales pueden ser identificados, los cualesson convergentes en el sentido de que suconsecución aumentaría las posibilidades de que el objetivo delagente está realizado para una amplia gamade metas finales y una amplia gama de situaciones, lo que implicaque estos valores instrumentales sonsusceptibles de ser perseguidos por muchos agentes inteligentes.

En el siguiente trataremos varias categorías donde talesvalores instrumentales convergentes pueden encontrarse.6 l aprobabilidad de que un agente reconocerá los valores instrumentales

queconf ronts aumenta (ceteris paribus) con la inteligencia del agente. Por consiguiente, vamos a centrarnos principalmenteen el caso de un hipotético agente superintelligent cuya capacidadde razonamiento instrumental lejos

6 Stephen Omohundro pionero ha escrito dos documentos sobre estetema (Omohundro 2008a, 2008b).Omohundro sostiene que todas los sistemas de inteligencia artificialavanzada son propensos a presentar un número de "unidades básicas",que significa " tendencias que estarán presentes a menos queexplícitamente se contrarresta." El término "AI drive" tiene laventaja de ser breve y sugestiva, pero tiene la desventaja de

sugerir que los objetivos instrumentales que se refiere a influir enla toma de decisiones de AI en la misma manera como unidadespsicológicos influyen en la toma de decisiones, es decir, a travésde una especie de remolcador fenomenológica sobre nuestro ego quenuestra voluntad ocasionalmente puede tener éxito en resistir. Esaconnotación es inútil. Uno normalmente no dicen que un ser humanotípico tiene una "unidad" para llenar sus declaraciones deimpuestos, aunque la presentación de impuestos pueden ser bastanteobjetivo instrumental convergentes para los seres humanos en lassociedades contemporáneas (un objetivo cuya realización previeneproblemas que nos impediría la realización de muchos de nuestros


9/22

objetivos finales). Nuestro tratamiento aquí también difiere del deOmohundro en algunas otras maneras más sustancial, aunque la ideasubyacente es la misma. (Véase también Chalmers Omohundro (2010) y(2012).6

exceden a los de cualquier ser humano. También vamos a comentar cómola tesis de convergencia instrumentalse aplica al caso de los seres humanos, esto nos da ocasión dedetallar algunascalificaciones esenciales acerca de cómo la convergenciainstrumental tesis debe ser interpretada yaplicada. Donde hay valores instrumentales convergentes, podremosser capaces de predecir algunosaspectos del comportamiento del superintelligence incluso si nosabemos prácticamente nada sobre los objetivos finales que

superintelligence.2.1 La auto-preservaciónSupongamos que un agente tiene algún objetivo final que se extiendeen el futuro. Haymuchas situaciones en las que el agente, si todavía está alrededoren el futuro, entonces es ser capaz de realizaracciones que aumentan la probabilidad de alcanzar el objetivo. Estocrea una razón instrumentalpara el agente para intentar ser alrededor en el futuro para ayudara alcanzar su actual meta orientada al futuro.

Agentes con derechos-como estructuras motivacionales parecen a

menudo lugar algún valor final desu propia supervivencia. Esto no es una característica necesaria deagentes artificiales: algunos pueden ser diseñadas paracolocar ningún valor final independientemente de su propiasupervivencia. No obstante, incluso a agentes que no les importaintrínsecamente de su propia supervivencia, en un justamente la gamaamplia de condiciones, cuidado instrumental en cierta medida acercade su propia supervivencia, a fin de lograr los objetivos finalesque hacen valor.

2.2 Objetivo de la integridad del contenido deun agente es más probable que actúen en el futuro para maximizar laefectividad de sus actuales metas finales si

todavía tiene esos objetivos en el futuro. Esto le da al agente unpresente la razón instrumental para evitaralteraciones de sus objetivos finales. (Este argumento sólo seaplica a los objetivos finales. A fin de alcanzar susobjetivos finales, un agente inteligente será por supuestorutinariamente sus subojetivos quiere cambiar a la luz de la nuevainformación y conocimiento.)

Meta-la integridad del contenido de objetivos finales, en ciertosentido, es incluso más importante que la supervivencia


10/22

como una motivación instrumental convergentes. Entre los sereshumanos, al contrario pareciera ser el caso,pero eso es porque la supervivencia es generalmente parte denuestros objetivos finales. Para los agentes de software, que puedecambiar fácilmente los órganos o crear duplicados exactos de símismos, la preservación de la autonomía como unaimplementación particular o un determinado objeto físico no necesitaser un importante valor instrumental.Agentes de software avanzada también podría ser capaz de cambiar losrecuerdos, descargar habilidades ymodifique radicalmente su arquitectura cognitiva y personalidades.Una población de tales agentes podrían funcionar más como una "sopa"funcional de una sociedad compuesta de distintas personas semi-permanente.7 Paraalgunos propósitos, procesos en un sistema de este tipo podría sermejor individuado como subprocesos teleológica,basado en sus valores finales, más que sobre la base de loscadáveres, personalidades, recuerdos ohabilidades. En tales escenarios, meta-continuidad podría decirseque constituye un aspecto clave de la supervivencia.

Aún así, hay situaciones en las que un agente puede cambiarintencionadamente sus propiasmetas finales.Tales situaciones pueden surgir cuando alguno de lossiguientes factores es significativa:

7 Ver Chislenko (1997).7

objetivos y utilizar esa información parainferir instrumentalmente disposiciones pertinentes u otrosatributos correlacionados, puede estar en el interés del agente paramodificar sus objetivos para hacer cualquier impresión deseada. Porejemplo,un agente puede perderse en beneficioso ofertas si los sociospotenciales no se puede confiar en él para cumplirsu parte del trato.Para hacer compromisos creíbles, un agentepodría, por consiguiente,adoptar como objetivo final el cumplimiento de sus compromisosanteriores, y permitir que otros

para verificar que efectivamente se ha adoptado este objetivo. Losagentes que podríanmodificar la flexibilidad y transparencia en sus propias metaspodría utilizar esta capacidad para imponer acuerdos de uno aotro.8

sobre los objetivos del agente.entonces podría tener motivos para modificar sus objetivos, ya seapara satisfacer o frustrar esaspreferencias.


11/22

algún objetivo final afectadocon el agente del propio contenido objetivo. Por ejemplo, el agentepodría tener un objetivo final paraconvertirse en el tipo de agente que está motivada por ciertosvalores, tales como la compasión.

algunas parte de una función de utilidad del agente esgrande comparado con la posibilidad de que surgirá una situación enque la aplicación de esa parte de lafunción de utilidad hará una diferencia, entonces el agente tieneuna razón instrumental parasimplificar su contenido objetivo, y es posible que la basura queparte de la función de utilidad.9 10

h uman s a menudo nos parecen felices para que nuestros objetivos yvalores finales .Esto deriva a menudo pueden serporque no sabemos exactamente qué son .evidentemente queremosnuestras creencias acerca de nuestros

objetivos y valores finales para poder cambiar a la luz de lacontinua auto-descubrimiento o cambio de auto- las necesidades depresentación. Sin embargo, hay casos en los que estemos dispuestos acambiar los objetivos y valores ensí, no sólo nuestras creencias o interpretaciones de ellos. Porejemplo, alguien decidirtener un hijo podría predecir que vendrán al valor del niño para supropio bien, aunque enel momento de la decisión no podrán, en particular, su futuro hijo oincluso como los niños engeneral.

8 Véase también Shulman (2010).

9 Un agente puede también cambiar su objetivo de representación sise cambia su ontología, con el fin de transponer su representaciónantigua a la nueva ontología. Cf. de Blanc (2011).10 Otro tipo de factor que mig ht tomar una decisión probatorioteórico emprender diversas acciones, incluyendo el cambio de susobjetivos finales, es la importación de probatorio decide hacerlo.Por ejemplo, un agente que sigue probatorias de teoría de ladecisión podría creer que existen otros agentes como en el universo,y que sus propias acciones proporcionará cierta evidencia acerca decómo los otros agentes actuará. Por lo tanto, el agente podríadecidir adoptar un objetivo final que es altruista hacia esos otrosagentes vinculados evidentially, alegando que esto dará el agenteevidencia que esos otros agentes habrán elegido para actuar de

manera similar. Un resultado equivalente podría ser obtenido, sinembargo, sin cambiar los objetivos finales, seleccionando en cadainstante a actuar como si uno hubiera esos objetivos finales.8El agente


12/22

los seres humanos son complicados, y hay muchos factores que puedenestar en juego en una situación como esta.11 Porejemplo, uno podría tener un valor fi nal que implica ser la clasede persona que se preocupa poralguna otra persona para su propio beneficio (aquí se pone un valorfinal en tener ciertovalor final ). Alternativamente, uno podría tener un valor final queimplica tener ciertasy ser padre y atravesando un ; exp eriences y ocupando una ciertasoci al papelobjetivo asociado shift-podría ser una parte necesaria de ello. Losobjetivos humanos también pueden tenercontenido incoherente, meta contenido; y por lo que algunas personaspodrían querer modificar algunas de sus metas finales parareducir las incoherencias.

Mejora cognitiva 2.3Mejoras en la racionalidad y la inteligencia tenderán a mejorar delagente en la toma de decisiones,haciendo que el agente más probabilidades de alcanzar sus objetivos

finales. Sería de esperar, por tanto,mejora cognitiva para emerger como un objetivo instrumental paramuchos tipos de agente inteligente. Porrazones similares, agentes tenderá al valor instrumental muchostipos de información.12

No todos los tipos de racionalidad, inteligencia y conocimientosdeben ser instrum entally útiles enel logro de los objetivos finales del agente."libro holandésargumentos" puede ser usada para mostrar que unagente cuyo crédito función no obedecer las reglas de la teoría dela probabilidad es susceptible de "dinero" de la bomba de losprocedimientos, en los cuales una savvy bookie un rranges un

conjunto de apuestas, cada uno de los cuales aparece favorable segúnlas creencias del agente, pero que en combinación están garantizadosparadar como resultado una pérdida para el agente, y una gananciacorrespondiente para el bookie. Sin embargo, este hecho noofrece ningún general fuertes razones instrumentales para intentarresolver todos incoherency probabilístico.Los agentes que no esperan encontrar savvy bookies, o que adoptenuna política general contralas apuestas, no pierde mucho de tener algunas creencias incoherentey pueden obtenerimportantes beneficios de los tipos mencionados: reduce el esfuerzocognitivo, social de señalización, etc. no hay una razón para

esperar que un agente para buscar instrumentalmente inútil formas demejora cognitiva, como un agente puede no valorar el conocimiento yla comprensión por su propio bien.

Que las habilidades cognitivas son útiles instrumentalmente dependetanto del agente f inalobjetivos y su situación. Un agente que tiene acceso a asesoramientode expertos fiables pueden tener poca necesidad desu propia inteligencia y conocimiento, y por lo tanto puede serindiferente a estos recursos.Si la


13/22

inteligencia y el conocimiento tienen un costo, tales como el tiempoy el esfuerzo dedicados a la adquisición, o en elaumento de requisitos de procesamiento y de almacenamiento y, acontinuación, un agente puede preferir menos conocimientos y

11 Una extensa literatura psicológica explora la formación depreferencias adaptativas. Véase, por ejemplo, Forgas et al.(2009).12 En modelos formales, el valor de la información se cuantificacomo la diferencia entre el valor esperado realizado por decisionesóptimas con esa información y el valor esperado realizado pordecisiones óptimas hechas sin él. (Véase, por ejemplo, Russell &Norvig 2010.) se desprende que el valor de la información nunca esnegativo. Se deduce también que cualquier información que usted sabenunca afectará cualquier decisión que usted hará siempre tiene elvalor cero para usted. Sin embargo, este tipo de modelo suponevarios idealizaciones que son a menudo no válida en el mundo real,como que el conocimiento no tiene ningún valor final (en el sentidode que el conocimiento sólo tiene valor instrumental y no es valiosapara su propio beneficio), y que los agentes no son transparentes a

otros agentes.9

menos inteligencia.13 El mismo puede mantener si el agente tieneobjetivos finales que involucran bei ng ignorantes deciertos hechos : l ikewise si un agente enfrenta los incentivosderivados de compromisos estratégicos, señalizacióno las preferencias sociales, como se ha señalado anteriormente. 14

Cada una de estas razones compensatorias a menudo entra en juegopara los seres humanos . Mucha de lainformación es irrelevante para nuestros objetivos; a menudo podemosconfiar en otros conocimientos y experiencia; adquirirconocimientos lleva tiempo y esfuerzo; podríamos valorintrínsecamente tipos determinados de la ignorancia; y operamosen un entorno en el que la capacidad de hacer compromisosestratégicos, socialmente señal, y satisfacer las preferenciasdirectas de otras personas sobre nuestros propios Estados epistémica, a menudo es importante paranosotros que los simples logros cognitivos.

Existen situaciones especiales en las cuales mejora cognitiva puede

resultar en un enorme incremento en la capacidad de un agente paraalcanzar sus objetivos finales en particular, si los objetivosfinales del agente sonbastante desbordada y el agente se encuentra en una posición paraconvertirse en el primer superintelligence, lo cualpodría obtener una ventaja decisiva la activación del agente paradar forma al futuro de la Tierra --originarios y accesible la vida cósmica de recursos según suspreferencias. Al menos en estecaso especial, un agente inteligente racional tendría lugar un muyalto valor instrumental en la


14/22


15/22

en un sentido especial-tecnología debe interpretarse como incrustadoen un determinado contexto social, ysus costos y beneficios deben ser evaluados con referencia a algunosde los agentes especificado valores finales.

Parece que un singleton superintelligent superintelligent-un agenteque no enfrenta importantes rivales inteligentes u oposición, y portanto está en posición de determinarunilateralmente la política mundial tendría razón instrumental paraperfeccionar las tecnologías que hacen que seamás capaz de moldear el mundo según sus diseños preferidos.15 Estoprobablemente incluyaespacio colonización tec hnology, tales como sondas de von Neumann-automático, auto-reparación y auto-replicando las naves espaciales que pueden ampliar su alcance másallá del Sistema Solar. Lananotecnología molecular, o alguna alternativa aún más capacidadfísica, la tecnología de fabricación tambiénparece ser muy útil al servicio de una amplia gama de metasfinales.16

2.5 La adquisición de recursospor último, la adquisición de recursos es otro objetivo instrumentalemergentes comunes, en gran medida, por las mismasrazones que perfección tecnológica: la tecnología y los recursosfacilitarproyectos de construcción física.

Los seres humanos tienden a tratar de adquirir recursos suficientespara satisfacer susnecesidades biológicas básicas. Pero la gente usualmente buscanadquirir recursos mucho más allá de ese nivel mínimo.Para ello,pueden ser parcialmente impulsada por menor deseos físicos, tales

como el aumento de la comodidad y conveniencia. Una gran cantidad deacumulación de recursos está motivada por preocupaciones sociales-estado ganando, compañeros, amigos e influencia, a través de laacumulación de riqueza y elconsumo conspicuo. Quizás menos común, algunas personas buscanrecursos adicionales para lograraltruista caros o no de los objetivos sociales.

15 Cf. Bostrom (2006).16 Uno podría invertir la cuestión y mirar en su lugar en losmotivos posibles de un singleton superintelligent no desarrollaralgunas capacidades tecnológicas. Estos incluyen: (a) el valorexclusivo, previendo que no tendrá ningún uso de cierta capacidad

tecnológica; (b) los costos de desarrollo de ser demasiado grande encomparación con la previsión de utilidad. Este sería el caso si, porejemplo, la tecnología nunca será adecuado para el logro decualquiera de los extremos del singleton, o si el singleton tieneuna muy alta tasa de descuento que s fuertemente desalienta lainversión; (c) El valor final de tener algunos singleton querequiere la abstención de determinadas vías de desarrollotecnológico; (d) Si el singleton no está seguro de que permaneceráestable, es posible que prefieran abstenerse de desarrollartecnologías que pudieran amenazar su estabilidad interna o que haríaque las consecuencias de la disolución peor (por ejemplo, un


16/22

gobierno mundial tal vez no deseen desarrollar tecnologías quefaciliten la rebelión, incluso si tenían algunos buenos usos, nifácil de desarrollar tecnologías para la producción de armas dedestrucción masiva que Podría causar estragos si el gobierno mundialfueron para disolver); (e) Igualmente, singleton pueda haberrealizado algún tipo de compromiso estratégico vinculante a nodesarrollar alguna tecnología, un compromiso que continúa en vigor,incluso si ahora sería conveniente desarrollar. (Sin embargo, tengaen cuenta que algunos motivos de actualidad para el desarrollo detecnología no sería aplicable a un singleton: por ejemplo, lasrazones derivadas de las carreras de armamentos no deseados.)11

Sobre la base de esas observaciones puede ser tentador suponer queuna

superintelligence no enfrenta un mundo social competitivo no veríanla razón instrumental paraacumular recursos más allá de un modesto nivel, por ejemplo,independientemente de los recursos informáticosnecesarios para ejecutar su mente junto con algo de realidadvirtual.Pero esa suposición sería totalmente injustificada. Enprimer lugar, el valor de los recursos depende de los usos a los quese pueden poner, lo quea su vez depende de la tecnología disponible. Con tecnología madura,los recursos básicos tales como eltiempo, el espacio y la materia, y otras formas de energía libre,podrían ser transformados para servir casi cualquiermeta.Por ejemplo, esos recursos básicos podrían ser convertidos en

la vida.Aumento derecursos computacionales podrían utilizarse para ejecutar elsuperintelligence a una velocidad mayor y de más larga duración,o para crear otros físicos o virtuales (simuladas) vive ycivilizaciones.Recursos físicos adicionales también podrían ser utilizados paracrear los sistemas de copia de seguridad o las defensasperimetrales, aumentar la seguridad.Dichos proyectos podrían fácilmente consumir mucho más que un valorde los recursos del planeta.

Además, el costo de la adquisición de más recursos extraterrestresdisminuirá

radicalmente a medida que madure la tecnología. Una vez que lassondas de von Neumann puede ser construido, una gran parte deluniverso observable (suponiendo que está deshabitada por vidainteligente) podría sercolonizado por la gradualmente un costo de construcción ylanzamiento de un solo éxito de auto-reproducción desonda. Este bajo coste de adquisición de recursos celestiales,significaría que dicha expansión podría ser deutilidad, incluso si el valor de los recursos adicionales adquiridoseran algo marginal. Por


17/22

ejemplo, incluso si una cuidada superintelligence instrumentalmenteno sólo sobre lo que sucede dentro deuna particular pequeño volumen de espacio, como el espacio ocupadopor su planeta natal original, aúntendría razones instrumentales para cosechar los recursos del cosmosmás allá.podríautilizar los recursos excedentarios para construir equipos paracalcular más formas óptimas de uso derecursos dentro de la pequeña región espacial de principalpreocupación. También podría utilizar losrecursos adicionales para construir cada vez más defensas sólidaspara salvaguardar el privilegio real estate. Dado que elcosto de adquirir recursos adicionales permitiría mantenerdisminuir, este proceso de optimizar y aumentar las salvaguardiasbien podría continuar indefinidamente, incluso si estuviera sujeta acontinuo declivedevuelve.17 18

17 Supongamos que un agente descuentos los recursos obtenidos en elfuturo a un ritmo exponencial, y que, debido a la limitación de la

velocidad de la luz el agente sólo puede aumentar su dotación derecursos en un polinomio tasa.Sería esto significa que habrá algún tiempo después de que el agenteno encontraría interesante continuar la expansión adquisitiva?No,porque aunque el valor actual de los recursos obtenidos en tiemposfuturos sería asymptote a cero la ulterior en el futuro esperamos,por lo que el coste actual de su obtención. El costo actual deenviar una sonda von Neumann, más de 100 millones de años(posiblemente usando algún recurso adquirido algún corto tiempoantes) se vería reducida por el mismo factor de descuento quedisminuiría el valor actual de los futuros recursos la sonda extraadquiriría un factor constante (módulo).18 Incluso un agente que tiene un objetivo final aparentemente muy

limitado, tales como "hacer 32 clips", podrían perseguir laadquisición de recursos ilimitado si no hubo costo relevante para elagente de hacerlo. Por ejemplo, incluso después de una maximizaciónde la utilidad esperada de agente había construido 32 clips, podríautilizar algunos recursos adicionales para comprobar que realmentehabía creado 32 clips reunión todas las especificaciones (y, si esnecesario, tomar medidas correctivas). Después de que lo hubierahecho, podría ejecutar otra tanda de pruebas para estar doblementeseguros de que ningún error había sido realizado. Y entonces sepodría ejecutar otra prueba, y otro. Los beneficios de las pruebassubsiguientes abruptamente estaría sujeto a rendimientosdecrecientes; sin embargo, hasta que no hubo una acción alternativa12

Así pues, existe una gama muy amplia de posibles objetivos finalesun singleton superintelligentpodría tener que generaría el objetivo instrumental de adquisiciónde recursos ilimitados. La


18/22

probable manifestación de esto sería el inicio de lasuperintelligence un proceso de colonizaciónque podría expandir en todas las direcciones utilizando sondas devon Neumann.Esto sería aproximadamente el resultado en unaesfera de ampliar la infraestructura centrada en el planetaoriginario y creciendo en la radio enalgunas fracciones de la velocidad de la luz; y la colonización deluniverso continuaría de estamanera hasta que la aceleración de la velocidad de expansión cósmica(consecuencia de laconstante cosmológica positiva) hace físicamente imposible laadquisición de nuevos materiales como lasregiones alejadas permanentemente deriva fuera del alcance.19 Por elcontrario, los agentes que carecen de la tecnología necesaria parala adquisición de recursos baratos , o para la conversión derecursos físicos genéricos eninfraestructura útil , podrá encontrar a menudo no costo - Eficazpara invertir los recursos actuales en increa cantarsu dotación material. T él mismo podrá celebrar para los agentes queoperan en competencia con otros

agentes de potencias similares.Por ejemplo, si los agentescompetidores han obtenido ya accesible, tardía de recursos cósmico - agente de arranque puede no teneroportunidades de colonización. La conver gentrazones instrumentales para superintelligences un certain de la no -existencia de otros poderososagentes superintelligent son complicados por consideracionesestratégicas en wa ys queactualmente no podemos comprender plenamente, pero que puedenconstituir importantes salvedades a los ejemplosde razones instrumentales convergentes que hemos visto aquí. 20

Cabe destacar que la existencia de razones instrumentales

convergentes, incluso sise aplican y son reconocidos por un agente determinado, no implicaque el comportamiento del agentees fácilmente predecible. Un agente bien podría pensar en maneras deperseguir a los correspondientesvalores instrumentales que no ocurren fácilmente a nosotros.Esto esespecialmente cierto para un superintelligence, que podríaidear extremadamente inteligente pero ilógico planes para lograr susobjetivos, posiblemente incluso explotar aún sin descubrir fenómenosfísicos.Lo previsible es que los convergentes

con una mayor utilidad esperada, el agente que mantendría a probar yvolver a probar y seguir adquiriendo más recursos para habilitar

estos tests).19 Mientras el volumen alcanzado por la colonización sondeos en unmomento dado podría ser casi esférica yluego la tasa de crecimiento puede convertirse de nuevo enpuntiagudos como las galaxias cercanas son colonizados; luego latasa de crecimiento podría volver a aproximar ~t2 como producto deexpansión en una escala más que la distribución de las galaxias esaproximadamente homogénea; luego otro período de crecimiento seguidapor punta suave ~t2 el crecimiento como galactic superclústeres soncolonizados; hasta que, en última instancia, la tasa de crecimientoempieza un declive final, alcanzando eventualmente cero como la


19/22

velocidad de expansión del universo se acelera hasta tal punto quela colonización aún más imposible. ;t expansión con una tasaproporcional al cuadrado del tiempo transcurrido desde que se lanzóla primera sonda (~t 2), la cantidad de recursos que contiene estevolumen se siga un patrón de crecimiento menos regular, ya que ladistribución de los recursos es no homogénea y varía a lo largo dediversas escalas. Inicialmente, la tasa de crecimiento podría ser~t2 como el planeta hogar es colonizado; luego la tasa decrecimiento podría convertirse en puntiagudos cerca de planetas ysistemas solares están colonizados; luego, como el volumenaproximadamente en forma de disco de la Vía Láctea obtiene rellenan,la tasa de crecimiento podría incluso, a ser aproximadamenteproporcional a20 el argumento de simulación pueden ser de particular importanciaen este contexto. Un agente superintelligent puedeasignar una significativa probab ility a hipótesis según la cualvive en una simulación de computadora y susecuencia percept superintelligence generado por otro, y esto podríagenerar diversasrazones instrumentales convergentes según el agente suposiciones

acerca de qué tipos de simulaciones es más probable que sea. Cf.Bostrom (2003).13

valores instrumentales serían perseguidos y usar para lograr losobjetivos finales del agente, y no lasacciones concretas que el agente debe tomar para lograr esto.

Conclusiones

La ortogonalidad tesis sugiere que no podemos asumir que unsuperintelligence alegremente seránecesariamente compartimos cualquiera de los valores finalesestereotípico asociado con la sabiduría y eldesarrollo intelectual de los seres humanos, la curiosidadcientífica, benevolente la preocupación por los demás, lailuminación espiritual y la contemplación, la renuncia de losmateriales de la codicia, el gusto por lacultura refinada o para los sencillos placeres de la vida, lahumildad y la abnegación, y así sucesivamente. Podría ser posible através de un esfuerzo deliberado para construir un superintelligenceque valores tales cosas, oconstruir uno que valora el bienestar humano, la bondad moral, o

cualquier otro propósito complejos que susdiseñadores que desee servir. Pero no es menos posible-yprobablemente técnicamente más fácil de construir unsuperintelligence que coloca el valor final en nada pero calcularlos decimales de pi.

La tesis de convergencia instrumental sugiere que no podemos asumirque unsuperintelligence alegremente con el objetivo final de calcular losdecimales de pi (o hacer clips, o


20/22

contar los granos de arena) limitará sus actividades de manera talque no materialmente infringirlos intereses humanos. Un agente con ese objetivo final tendría unarazón instrumental convergentes,en muchas situaciones, para adquirir una cantidad ilimitada derecursos físicos y, si es posible,eliminar las amenazas potenciales a sí mismo y su meta system.21podría ser possib le para configurar una situaciónen la que la forma óptima para el agente para perseguir estosvalores instrumentales (y, por ende, susobjetivos finales) es promover el bienestar humano, actuandomoralmente, o cumpliendo algunos efectos beneficiosos comoconcebida por sus creadores.Sin embargo, si un tal agente d cuandose encuentra en una situación diferente,de la que se espera un mayor número de decimales de pi que secalcula si se destruye laespecie humana que si continúa Actuar cooperativamente, sucomportamiento sería tomar unsiniestro giro instantáneamente. Esto indica un peligro basándose envalores instrumentales como garante de una

conducta segura en el futuro agentes artificiales que estándestinadas a convertirse en superintelligent y que podría sercapaz de aprovechar sus superi ntelligence en niveles extremos depower a nd influencia . 22

ReferenciasBostrom, N. (2003). Está viviendo en una simulación de computadora?Trimestral filosóficos, 53(211),243-255.

Bostrom. N. (2006). ¿Qué es un singleton? InvestigacionesLingüísticas y filosóficas, 5(2), 48 a 54.

21 seres humanos podrían constituir amenazas potenciales;ciertamente constituyen recursos físicos.22 Para co mments debate y estoy agradecido a Stuart Armstrong,Grant Bartley, Owain Evans, Lisa, Luke Muehlhauser Makros, Toby Ord, Brian Rabkin, Rebecca Roache,Anders Sandberg, y tresárbitros anónimos.14

Bostrom, N. (2012). Peligros de la información: una tipología dedaños potenciales de conocimiento.Revisión de la filosofía contemporánea, 10, 44-79.[Www.nickbostrom.com/information-hazards.pdf]

Chalmers, D. (2010): La singularidad: un análisis filosófico.Journal of Consciousness Studies,17, 7-65.


21/22

Chislenko, A. (1997). La tecnología como extensión de laarquitectura funcional. ExtropyOnline. [proyecto.cyberpunk.ru/BID/tecnología_como_extension.html]

de Blanc, P. (2011). Crisis ontológica del agente artificial en lossistemas de valores. Manuscrito. Lasingularidad del Instituto de Inteligencia Artificial.[Arxiv.org/pdf/1105.3821v1.pdf]

Dewey, D. (2011). Aprender qué valor. En Schmidhuber, J. Thorisson,K. R., mira, M. (eds.).Actas de la IV Conferencia General de Inteligencia Artificial, elAGI 2011 (págs. 309-314),Heidelberg: Springer.

Forgas, J. et al. (eds.) (2009). La psicología de las actitudes y elcambio de actitud. Londres: PsicologíaPulse.

Lewis, D. (1988). Deseo como creencia. Mente, 97(387), 323-332.

Omohundro, S. (2008a). Las unidades básicas de AI. En P. Wang, B.Goertzel y S. Franklin (eds.).Actas de la Primera Conferencia de AGI, 171, Fronteras enInteligencia Artificial y aplicaciones.Ámsterdam: IOS Press.

Omohundro, S. (2008b). La naturaleza de Self-Improving InteligenciaArtificial. Manuscrito.[Selfawaresystems.files.wordpress.com/2008/01/nature_of_self_improving_ai.pdf]Omohundro próximas, S. (2012). Rationally-Shaped InteligenciaArtificial. En Edén, A. et al.

(eds.). La singularidad hipótesis: una evaluación científico yfilosófico (Springer, de próxima publicación).

Parfit, D. (1984). Motivos y personas. (págs. 123-4). Reimpreso yedición corregida, 1987. Oxford:Oxford University Press.

Parfit, D. (2011). En lo que importa. Oxford: Oxford UniversityPress.

Russell y Norvig, S., P. (2010). Inteligencia artificial: un enfoquemoderno. (3ª ed.). Nueva Jersey:

Prentice Hall.

Sandberg, A. y Bostrom, N. (2008). Emulación de la totalidad delcerebro: una "Hoja de Ruta". Informe técnico 2008-3. Oxford: el futuro de la humanidad Institute, La Universidad deOxford.15


22/22

[www.FHI.ox.ac.uk/Reports/2008-3.pdf]Shulman, C. (2010). La Omohundro AI básicos "Unidades" y catastrophic riesgos. Manuscrito.[Singinst.org/upload/ai-resource-drives.pdf]Sinhababu, N. (2009). La teoría de la Motivación Humean reformuladasy defendida.Examen filosófico, 118(4), 465-500.

Smith, M. (1987). La teoría de la motivación humean. Mente, 46(381): 36-61.

Weizenbaum, J. (1976). Equipo de alimentación y la razón humana: dela sentencia para el cálculo. SanFrancisco: W. H. Freeman.

Yudkowsky, E. (2008). La inteligencia artificial como un factorpositivo y negativo en el riesgo global. EnBostrom, N. y Cirkovic, M. (eds.). Global de los riesgoscatastróficos. (págs. 308-345; cita de p. 310).

Oxford: Oxford University Press.Yudkowsky, E. (2011). Los sistemas de valores complejos sonrequeridos para lograr valiosos de futuros. EnSchmidhuber, J. Thorisson, K. R., mira, M. (eds.). Actas de la IVConferenciaGeneral de Inteligencia Artificial, el AGI 2011 (págs. 388-393).Heidelberg: Springer.16

Date post:	07-Jul-2018
Category:	Documents
Upload:	jose-botero
View:	219 times
Download:	0 times

1b.el Superinteligente La Motivación y La Racionalidad Instrumental en a.I

Documents