AdminFest 2012 - Pasá la guardia

Llegando al AdminFest tenia las keys en un pendrive de laburo, para cuando me fui me di cuenta que no estan mas. Ahora...sabra la persona que las encontro el poder que tiene en sus manos?

Estaba trabajando en una PC en un banco no era empleado me habian contratado para hacer halgo, chico y rapido, en esa epoca los programadores de pc eran depreciados como no profesionales. De pronto dicen que la VAX se cae, stop todo el proceso y kaput, estaban haciendo los saldos para los clientes eran las 3 o 4 de la madrugada, empieza todo un lio que no saben porque no arranca la maldita maquina, me miran y me dicen che vos sabes algo de esto? les digo que si puedo ayudar y me miran los expertos con cara rara y me dicen bueno si podes dale, voy destapo la maquina le saco los tornillos d ela tapa con un cuchillo no habia ninguna herramienta cerca, me miran mucho mas raro todavia, miro la placa eletronica paso la mano por arriba muy suavemente, se rien bastante me dicen que sos manochanta ja ja ja, les digo que no miren meto la mano hago algo y luego de eso todo vuelve a andar, me miran diciendo que sos brujo de verdad y le dije que SI Lo que no saben es que toque las memorias y la que estaba fria se habia levantado del zocalo la empuje se encajo y volvio todo a la normalidad, aparte de programador soy tecnico electronico, nunca supieron el secreto profesional..!

Esto es de la epoca del dial-up. Un cliente tenia mail para 20 cuentas que bajaba x POP3 via un dialup de 33.6k Un dia se quejaron "que no entraban los mails", revisando el server encontramos que uno de los mails tenia un attach llamado "PENETRAT.AVI" de 4M En la epoca del dialup eso era suficiente para taponar por completo el enlace....

suena el telefono y se escucha la queja habitual: "no anda internet". Me logueo al fw, reviso..interfaces OG, uplink ok, trafico en las interfaces ok... entonces hago un "tail -f /var/log/messages" y veo: "Warning: MAC address xx:xx:xx:xx:xx is using my IP address" Haciendola breve: un bobo conecto un AP que trajo de su casa a la red y la ip que tenia era la misma que el fw

Díalogo de soporte a usuario: SA- Buen día, en qué puedo ayudarlo? USR- Necesito que vengan, se rompió el posavasos de la PC. SA- Perdón? Posavasos??? USR- Sí, aprieto el botoncito y no sale la bandeja! SA- Ahh... cierto... el posavasos... *muerte y destrucción!!!*

Por telefono estaba guiando a un usuario de monitoreo para que restartee un servicio y le digo "ahora pasate a root" y no sabis, le digo "escribi root que te digo la pass" y no andaba, no entraba......que pasaba: ponia rut!!! con U ufffff

Un día, después del work llego a mi casa y mi señora me pregunta con tono de enojada: "quien es sheiper y porque le decis mother?" mi cara de WTF cuando me dijo eso, y le pregunto: porque y como sabes de esos nombres? y me responde: Porque anoche te la pasaste nombrándolas mientras dormías! Mother es el NMS que tenemos levantado y Sheiper es el controlador de BW :P (si, estaba soñando con servidores)

My buddies in my office are my One Desktop which having CentOS, One laptop with Linux mint and 5 Server which having 11.04 Server and also have one old friend Cisco Router 2611... My love is my Squid Proxy Server who stop all unauthorized access and obey my orders .. Personally I don't like Windows !!

Een algunas variantes de Unix aparentemente "hostname -f" setea el hostname a efectivamente "-f" en lugar de mostrarlo completo. La cuestion es que tratando de ver el hostname, lo deje seteado incorrectamente y misteriosamente las aplicaciones dejaron de funcionar . Hasta que nos dimos cuenta que fue eso, pasaron largas horas, encima recuerdo que fue un viernes y a las 18.30 recien lo descubrimos. Obviamente solo se enteraron mis fieles ex compañeros. La version oficial fue que "fue un bug de la aplicacion y se arreglo con un reboot" LOL

Estoy en un server DHCP de un ISP hay que actualizar las licencias por que en 10 días se vencen, las cargo son un total de 7 licencias cada una consta de 8 cuartetos alfanuméricos parecidas a las de WINDOS termino doy aceptar y de repente aparece una ventana de error sin boton alguno y se reinicia el servidor, cuando levanta todo bien (en apariencia) de repente el telefono los abonados estan si servicio volviendo loco al call center, el server no reconocio las licencias y tiro todos los servicios abajo, error al escribir uno de los cuartetos :(, cargar todo de nuevo y reiniciar el server 40 minutos despues el ultimo de lo 8.000 abonados tenia servicio nuevamente

Me ascienden en la ofi y un día viene el gerente y me dice que antes de ir al nuevo puesto tengo q mostrar la migracion a mi reemplazante supuestamente un "SSR_DBA". Cuando comienzo a mostrartle la migracion de las DB, el loco me dice: "para que no entiendo nada de lo que decis", lo miro con cara de nada... Resulto que el vago habia mentido en el CV para que lo contraten y no sabia nada, pero nada de BD... Me pase una semana explicando conceptos basicos de DB, depues buena suerte amigo, jaja El vago ahora (tuvo suerte que no lo despidan) anda de cadete...

Uno de mis primeros laburos de Sysadmin, estuve todo el día configurando un servidor nuevo con Debian. Varias horas después de haber levantado backups en ese serv0, configurado un montón de porquerías, tengo la costumbre de cambiar el puerto del SSH por 1337, lo edito, y /etc/init.d/sshd stop FUUUUUUUUUUUUCK. Server en LA, California yo en mi casa en el interior. Tubazo a los de guardia ese mismo viernes para que me rebootearan el servidor. Un genio yo.

Un día me indicaron que para hacer un cambio tenia que solicitar la intervención de un proveedor experto, a pesar de saber sobre el tema, no me quedo otra ... cuando llego el técnico me dijo que tenia que hacer un levantamiento ... y, a pesar que conocían la plataforma, le di el tiempo necesario para seguir, cuando termino de hacer el levantamiento me indico que se llevaría los datos para cotejarlos en la oficina y que volvería al siguiente día ... le indique que el requerimiento debía estar listo lo antes posible ... a la mañana el técnico no llego, lo llame ... me dijo que estaba en camino ... cerca de las 11:00, llego diciendo que tenia dudas que aun tenia que revisar ... le di el resto de la mañana ... termino de validar ... y me dice; "tenemos que hacer pruebas" , le dije - pero si son 6 click - sabes hacerlo?; me contesto; sí ... ok entonces hace el cambio. Igual saque un respaldo antes ... pasada la hora, el cambio fue un incidente porque NO SABIA COMO HACERLO! ... aplique el respaldo y le dije lo que tenia que hacer ... tribial a ojos de cualquiera ... pero complejo para un experto ...

Dos veces me pasó esto. En la fábrica, me llaman a las 12 de la noche porque el electricista hizo reventar un UPS de 60KV. En donde estoy ahora, conectaron un soldador eléctrico (� amperes) en la línea estabilizada. Otra vez (mismo lugar) se pusieron a agujerear la pared. Conclusión: un switch muerto por acumulación de polvo de ladrillo en el disipador.

Situacion tipica de cualquier area de IT: equipo viejo al que ya no le da el cuero, reemplazo por uno mejor y mas nuevo. El equipo en cuestion tenia un bug tracker interno que usa Mysql como backend persistente de datos. Toda la empresa lo usa, de todas las areas, para coordinar tareas y anunciar/programar mantenimientos. Mi jefe, en su momento, penso que era buena idea darle la tarea a un muchacho caratulado como SSr en el area. La tarea en si no era dificil, la aplicacion en si tenia un instalador, y apuntando a la DB correcta, solo era hacer un mysql < dump y listo el pollo. Pero, obviamente si estas leyendo esto es por que te imaginas que no fue el caso. El muchacho en cuestion estaba haciendo pruebas para levantar la app en el servidor _nuevo_ desde un backup, y en un momento se escucha un golpe en la mesa en senial de enojo, seguido por un recital de musica clasica en LRPMQLRP Mayor. Al estar todos en una oficina chiquita, saltamos casi todos de la silla a ver que habia pasado. Las ultimas lineas en su consola de mysql: PROD> drop database trackerDB; ^C^C^C^C @FACEPALM

Tenia unos requerimientos por parte de un cliente y la cosa que es que me daba peresa realizar el pedido asi que le pedi a otro admin (noob) que lo hiciera ... mientras tanto verificaba unas cosas con un xen server. No pasan ni 5 minutos y aparece junto a mi el pasmado y palido y me dice: ... "Parece que la cague". le digo: y se puede arreglar ? me dice: no parece que no. Cuando me acerco a ver que habia hecho o que intento hacer. veo en una consola pegada. yum remove -y nss ... remove 158 package(s) ... Is this ok [y/N] y FACEPALM

Luego de 6 meses en la aduana llega el IPS, como nene con chiche nuevo soy el primero en abrirlo y querer prenderlo. Como llevaba poco en la empresa pregunto, "Donde lo rackeo?" "Ponelo ahi" me dijeron. Hice las configuraciones básicas para poder conectarme remoto y seguir con el config. Dentro de lo que traia el server me sobraba un RJ45 cat6, por lo que me lo traia de vuelta para mi escritorio. Cuando la gente me ve entrar a la oficina me dice "Que hiciste???? No hay correo!!!! Que haces con ese cable en la mano??". Ups, habia conectado el IPS a la red de producción y con la configuración básica que tenia tiró 3 switches a la mier.... Corriendo a apagar el IPS y rebootear los switches.

como estaba probando reglas de iptables del balanceo de un server me apiolé a cronear un reboot en 10min, sólo que olvidé que en el crontab es necesario el path al comando, y como era de suponer mis reglas de firewall me dejaron afuera, desde esa noche no me lo olvido más.

Madrugada, implementación de HP-SIM en servidor RHEL5 y HP-UX 11.31 productivos. Instaló Proliant Support Pack de DB server, pisa el driver de fibra, pierde conexión con el storage, la base abajo. El módulo original no lo tenia ningún otro server, descargo el módulo del fabricante (Qlogic), quiero compilar, faltaban las "Development Tools", las instalo. Compilo, insmod y falla al cargar... Lo traceo, encuentro que sale en un printk, comento la función que entra al printk, le hago devolver un void, modprobe y server aún funcionando. La magia existe!.

Existe cierto servicio de gestion comercial que llevaba algo mas de 10 meses en desarrollo. Como siempre sucede en estos casos, hay que ponerlo en produccion de un dia para otro porque "El cliente mas grande que tenemos va a lanzarlo masivamente". Trasnoche, cafeina y un amanecer temprano, con la poca informacion que entregaron del deploy fue parte de lo habitual: - El desarrollador jefe no contesta su celular - Las dependencias del sistema no estaban declaradas por ninguna parte. Se montaron a la medida: a medida que iban apareciendo. - Existia una referencia encriptada en una libreria que no se podia identificar. - Cuando se identifico la referencia, esta apuntaba en duro a la maquina del desarrollador (que no contestaba el telefono). - La maquina del desarrollador estaba apagada...en una oficina cerrada. - Los procedimientos almacenados para la base de datos necesaria, no se ejecutaban en el servidor existente en produccion (una version anterior). Lo realmente hermoso fue poder estar a primera hora, mostrandole al jefe los problemas subsanados, aun cuando las credenciales de prueba no estaban correctamente entregadas (y fueron modificadas manualmente en la tabla necesaria) PD: La presentacion nunca se hizo, ya que el gerente de servicios (nuestro cliente) y nuestro gerente de planificacion y estrategia, decidieron irse juntos a jugar golf, para celebrar el comienzo de una "dichosa relacion comercial"....a la misma hora que se suponia se haria la presentacion....HDPs ¬¬

Habia empezado en un laburo hace poco(menos de un mes) y era el cumple de uno de los chicos. Como soy de festejar todas la fechas, organize el cumple de este colega. El problema es que aun no sabia que ese mismo finde que festejabamos, iba a haber una migracion de storage de varios servers. si bien no era el responsable directo, tenia que ayudar con la parte de middleware. que es lo que hice? telefono de guardia conectado a la conference call, headset bluetooth con mute y viendo todo desde un bar con los chicos. habia tanto ruido que me tuve que ir del bar y me fui a un cajero automatico(por mas que este en plena avenida, son muy silenciosos adentro de esa pecera). estaba por telefono y diciendole a la gente que estaba arreglando el cajero.

Ir a ver el log de cacti, ver que no hay nada y el archivo que en algún momento crecía mucho y luego dejó de llenar el /var ahora es un link simbólico a /dev/null :S

Este tema de Imelda May aplica para muchos admins: Imelda May - Sneaky Freak I?m behind you, I?m watching your back, I?m gonna find you, look in every crack I know your passwords, i crack your codes,? I know you backwards, I even search your clothes Chorus: Cause I?m sneaky, freaky, yes I?m sneaky freak! Watch out cause I?m sneaky freak! Oh, I?m a sneaky freak cause, I?m a creepy sneaky freak! What you?re up to, cause I?m gonna find out his secrets, yeah, i know about.. You?ll never know it was me Chorus: Cause I?m a sneaky freaky! Oh, I?m a sneaky freaky, watch out cause I?m a sneaky freaky! Oh, I?ma sneaky freaky, Cause I?ma creepy sneaky freaky! Oh, we loved to go by the? You?re hiding something i know you're holding your phone whenever you're at home You gotta feeling something is not right, You should be keeping an eye open at night, over your shoulder was that something you saw? i'm getting bolder, cause I?m above the law, Chorus: Cause I?ma sneaky freaky, yeas I?ma sneaky freaky! Watch out cause I?ma sneaky freaky Oh, I?ma sneaky freaky, Cause I?ma creepy sneaky freaky! I?ma sneaky freaky, Yes I?ma sneaky freaky, Oh, I?ma sneaky freaky, Uuuu yes, I?ma creepy sneaky freaky! Yes! I?m creepy! Uuuu I?m sneaky! I?m freaky!

Terminado de migrar un servidor nuevo, entra en produccion y puf, la aplicacion fallo! Por la television publica de esa provincia anuncian que por razones de la empresa X no se hara cierto programa! Escrachados mal!

El Portero del edificio en donde vivo, sabiendo que trabajo en sistemas, me pidió, muy gentilmente, que entrevistara a su hijo, quien, según textuales palabras, "de la computadora, sabía todo". Como casualmente estábamos reclutando desarrolladores en la Unidad en donde desempeño tareas, decidí darle una mano, aclarándole que sí o solo sí, su hijo conociese el paradigma de la programación. Al día siguiente, se presenta un flaco de unos 20 años de edad, look mezcla Pocho La Pantera y Cacho Castaña, campera de símil cuero y la camisa desabrochada hasta el cuarto botón. Comencé la entrevista preguntándole en qué había estado trabajando últimamente, a lo que me contestó, básicamente, que en tareas de soporte técnico, instalando sistemas operativos y reparando PCs. Adentrándome en lo que me importaba, le hice un par de consultas como para constatar que estuviese en el terreno del desarrollo y fue, claramente, inconducente. Él no sabía de qué estaba hablando. Para poder dar por terminada la entrevista sin resultar descortés -tengan en cuenta que al portero lo iba a seguir viendo el resto de los dias que permaneciera viviendo en el mismo edificio- lo ultimé: - Bueno, contame, en definitiva, en qué lenguaje programás, así pasamos a una pruebita y no te robo más tiempo. El flaco se pone derecho, firme, me mira a los ojos, hace una pausa de unos 7 u 8 segundos y me contesta: - En ESPAÑOL. Yo me quedé esperando el remate de lo que, prima facie, parecía ser un chiste. ... Pero no fue así. Lo que es peor, la empeoró diciendo: - ¡Ojo! Si hay que programar en otro lenguaje, como Inglés, no hay problema. Me va a demandar un poco más de tiempo, pero lo hago. Así, mordiéndome la lengua para evitar una estrepitosa carcajada, di por concluída la entrevista.

En el datacenter donde laburo hay un KVM que tiene srv Win y Lin pero no anda muy bien, de hecho, no anda casi nunca, ademas de que te cambian los srvs a los que conectan.... Supuestamente estaba tratando de levantar un Win por lo que aprete las teclas de ingreso de teclado el desbloqueo, arranca la pantalla del KVM con un hermoso Lin que rebooteaba... que ademas cuando levanto, despues de chequear los discos, no cargo todas las ips virtuales :).... nunca chive tanto

Nunca falta el peor momento para que algo pase, y obviamente en ese momento se te caen los servers de producción. En el medio del hotel, con un WiFi super lento y el buen amigo putty laburando casi toda la noche, un hermoso día de relax :P

Jaja, como veran tengo mucho para contar! Este ultimo finde de 4 dias me fui a descansar a San Bernardo y tuve la buena suerte de que se cayo un servidor! No pude soportar que mi hijito la este pasando mal y bue... ya se imaginaran como la pase.

Una vez me hice el pistola y puse el certificado SSL con passphrase. Esto hizo que en medio de mis vacaciones tenga que ir al datacenter a poner la clave para que termine de cargar apache y pueda levantar el servidor.

Una vez me equivoque de terminal y tire un shutdown -h now. ni bien le di Enter me avive que lo estaba haciendo en el servidor mas importante, un HP-UX que tardaba 40mins en levantar. Por suerte me tiro error por tratar de apagarlo desde un FS montado!

Tire un "halt" en un server de testing... Pero enverdad estabahaciendo foco enla ventana del VPN server. Corrida a las 3de la mañana al datacenter para apretar el boton de power

Tenes parada atras tuyo a tu jefe y a los dos socios generentes de la empresa mientras haces un pasaje a produccion, eso si genera tencion, auditando cada comando!...

Voy a quedar toda la noche despierto ya que me desperte a las 11 de la noche y ma������±ana tengo que trabajar. Por cierto, parece funcionar todo esto.