NMap XSLT for web-apps URL extraction

I’ve just wasted 2 hours of sleep, but I’ve (finally) figured out some XSLT basics and created this simple XSL template to extract base URLs of web-applications from the XML output of a NMap scan. Very handy when you want to automatically pass NMap scan results to a web-application sitemap enumeration tool, such as dirsearch or dirb.

Just save the file to nmap-http-services.xsl and run xsltproc nmap-http-services.xsl nmap.xml, given that nmap.xml is the output of your nmap -oX nmap.xml ... scan.

Now dude, go get some sleep.

<?xml version="1.0" encoding="UTF-8"?>
<xsl:stylesheet version="1.0" xmlns:xsl="https://www.w3.org/1999/XSL/Transform">
<xsl:output method="text" indent="yes"/>
<xsl:template match="/nmaprun">
<xsl:for-each select="host">
<xsl:for-each select="ports/port">
<xsl:if test="state/@state = 'open' and service/@name = 'http'">
<xsl:if test="../../hostnames/hostname[@type='user']">
<xsl:if test="@portid = '80'">
<xsl:text>https://</xsl:text>
<xsl:value-of select="../../hostnames/hostname[@type='user']/@name"/>
<xsl:text>
</xsl:text>
</xsl:if>
<xsl:if test="@portid = '443'">
<xsl:text>https://</xsl:text>
<xsl:value-of select="../../hostnames/hostname[@type='user']/@name"/>
<xsl:text>
</xsl:text>
</xsl:if>
<xsl:if test="@portid != '80' and @portid != '443'">
<xsl:text>https://</xsl:text>
<xsl:value-of select="../../hostnames/hostname[@type='user']/@name"/>
<xsl:value-of select="portid"/>
<xsl:text>
</xsl:text>
</xsl:if>
</xsl:if>
</xsl:if>
</xsl:for-each>
</xsl:for-each>
</xsl:template>
</xsl:stylesheet>

Про реальні загрози російських соцмереж та хибність їх блокування в Україні

та хибність їх блокування в Україні

Рішення РНБО про розширення санкційного списку та, як наслідок, блокування російських соцмереж та інших популярних сайтів в Україні викликало не абиякий суспільний резонанс. Зокрема тому, що з боку уряду не було здійснено жодних спроб пояснити аргументи такого блокування або продемонструвати кібер-загрози регулярного доступу десятків мільйонів громадян України до підконтрольних ворогу веб-ресурсів. Натомість, було прийняте та озвучене рішення щодо технічного блокування ресурсів на рівні інтернет-провайдерів.

Така поведінка уряду не залишила громадянам інших варіантів, ніж розпочати самостійні спекуляції щодо причин та наслідків блокування, які не стихають вже тиждень. Які ж аргументи за блокування лунають мережею? Я не буду наводити тут образливі висловлювання щодо суб’єктивної оцінки рівня розумового розвитку користувачів російських соцмереж, або відверто популістські випади з застосуванням військово-патріотичної риторики. В цьому тексті я спробую проаналізувати суттєві аргументи на користь блокування та поділюся власними висновками з ситуації.

Аргументи, які озвучують

1. Дані про користувачів соцмереж (текст, фото, відео, геолокація) знаходяться в доступі рос. спецслужб.

Блокування соцмереж неістотно впливає на цю загрозу. Більша частина даних, які становлять інтерес та можуть бути використані для підготовки атаки на конкретних індивідуумів або для аналізу з застосуванням технологій “великих даних”, так чи інакше може бути отримана без втручання в роботу обладнання соцмереж. Решта даних може бути отримана через віддалений доступ до обладнання соцмереж “поза контролем” РФ з допомогою кібер-імплантів, розташованих в усіх більш-менш важливих інфраструктурах.

Більш правильним рішенням з протидії цій загрозі було б розгорнути національну кампанію з підвищення обізнаності громадян щодо приватності в інтернеті не залежно від того, які ресурси вони використовують.

2. У РФ є можливість проведення інформаційних операцій через підконтрольні соцмережі.

Блокування соцмереж підсилює загрозу. Навіть якщо припустити, що блокування соцмереж буде ефективним, користувачі будуть змушені мігрувати на інші популярні платформи, які в змозі прийняти “мігрантів”. Очевидно, цими соцмережами стануть Facebook та Twitter, в яких присутність російських агітаційних бот-мереж не менш потужна, ніж в підконтрольних РФ платформах. Більше того, зазначені соцмережі надають набагато більш ефективні засоби здійснення інформаційних операцій, тому що є більш технологічними та випробувані на набагато більшій кількості географічних регіонів та демографічних груп. До того ж, російська агітаційна машина в Facebook та Twitter загартована в масштабних кампаніях під час референдуму в Великобританії, виборах в США та Франції, та продемонструвала свої можливості та обмеження.

Стратегічно більш правильним було б використати досвід цих кампаній (помилки британців та американців, та влучні кроки французів) та розгорнути інформаційні просвітницькі програми, які допоможуть громадянам принципово протистояти агітації та пропаганді.

3. Блокування російських соцмереж не обмежує свободу слова.

Абсолютна маніпуляція. Звісно ж, не обмежує, тому що обмежує на свободу слова, а право на доступ до інформації. Полеміка навколо свободи слова не має прямого зв’язку з цією проблемою, тому активно проводиться прихильниками блокування задля відвертання уваги від її справжніх причин та наслідків.

4. В РНБО з пропозицією блокування виступила СБУ. СБУ займається розвідувальною діяльністю і не повинна розкривати свої аргументи.

Ця позиція не позбавлена логіки. Дійсно, розвідувальні установи не повинні використовувати прямі докази для побудови своїх висновків. Задача розвідки — аналізувати та прогнозувати, а її результати повинні бути в достатній мірі підтверджені. Але разом з цим, під час надання розвідувальних даних першим особам держави, зокрема Президенту та РНБО, СБУ могла б висвітлити некласифіковані елементи своїх аргументів та висновків, як це роблять розвідувальні установи США та їх союзників. Відсутність навіть узагальненої аргументації щодо доцільності блокування свідчить або про відсутність більш глибокої класифікованої аргументації, або про низьку оцінку важливості висвітлення подібних рішень в суспільстві.

З огляду на це, мушу зізнатися, що особисто я не дуже високої думки про можливості СБУ в частині кібер-розвідки. Я схильний вважати, що суттєвих аргументів щодо доцільності блокування в СБУ немає, а аргументація ведеться на рівні висвітлення потенціальних загроз з боку контрольованих ворогом ресурсів. При цьому, цілком можливо, без повного розуміння цих загроз. Звісно, я можу помилятися, та буду щасливий дізнатися, що помиляюся. Але наразі це моя поінформована думка.

Аргументи, про які мовчать

Важливим аргументом до якого не звертаються прихильники блокування полягає в тому, що контролюючи вміст популярних в Україні веб-ресурсів, РФ може здійснювати кібер-атаки, які по потужності можна порівняти з наслідками зміни програмного коду встановлених на комп’ютерах продуктів, зокрема антивірусів. Масове захоплення контролю над ПК та мобільними пристроями громадян України через вразливості веб-браузерів та суміжного ПЗ (Adobe Reader, Flash Player, Java і т.д.) — це не вигадки, а цілком реалістичний вектор нападу. Чому ж він не висвітлюється?

Маю два припущення. Або тому, що для здійснення захисту від цієї загрози потрібно заборонити доступ до набагато більшого числа веб-ресурсів, або тому, що цей бік загрози залишився поза увагою РНБО. Я схильний вважати, що перше припущення ближче до реальності, але й друге не виключаю.

Висновки

Російські соцмережі безумовно складають кібер-загрозу для громадян та держави. Заборона їх відвідування не є дієвим способом протистояння цим загрозам. Більш дієвою була б інформаційна просвітницька кампанія з висвітлення загроз відвідування російських соцмереж, яка, на жаль, не відбулася. Іншими словами, заборона російських соцмереж є ознакою провалу внутрішньої інформаційної політики уряду.

Небезпечним наслідком заборони є фактичне обмеження права громадян на вільний доступ до інформації, яке гарантоване Конституцією та Законом України, шляхом виконання указу Президента, а не в судовому порядку, як це передбачено законом.

Прогноз

Особисто я вважаю, що блокування російських соцмереж несуттєво відіб’ється на рівні їх відвідування українцями. Динаміку зміни популярності веб-ресурсів в Україні ви можете самостійно спостерігати в цьому розділі рейтингу Alexa: https://www.alexa.com/topsites/countries/UA


Оновлено 22 грудня 2018 р.

Через півтора роки після початку блокувань ВКонтакте все ще в десятці найбільш відвідуваних веб-сайтів в Україні – на 4 місці. Mail.ru, Yandex.ru та Ok.ru посідають 13, 14 та 15 місце.

Декілька важливих порад бігунам-початківцям (до 5 км)

  1. Бігайте кожен день, роблячи 1–2 дні перерви на тиждень. Не важливо якщо не буде виходити багато, бігайте кожен день скільки зможете. Можете три км — бігайте три. Можете п’ять — бігайте п’ять. Можете через силу десять — бігайте п’ять. Важливо займатися в районі 300 хв. на тиждень, порахуйте скільки маєте для цього пробігати і уперед. Інакше буде “полочка” яка може затягнутися на роки.
  2. Фінішуйте сильно. Тобто робіть зусилля на останніх 10–20% дистанції. Можете просто повертатися в стартовий темп, або перевищувати його. Розпочати сильно може будь-хто, фінішувати сильно може той, хто вміє розраховувати сили та контролювати дистанцію. Саме ці тактичні навички вам знадобляться, якщо захочете йти далі.
  3. Якщо щось болить, два дні не бігайте. Мається на увазі не кріпатура, вона проходить за перші 2–3 км. нової пробіжки. Мова про суглоби та кістки, зв’язки і т.і. Хочете зайнятися самолікуванням — купить мазь живокосту дохтура Тайса. Якщо розпухло, потемніло, не дає ступити, або болить через два дні — йдіть до лікаря.
  4. На переході через 5 км тренувальної дистанції у багатьох болять коліна. Це нормально, працюйте над технікою, починайте спілкуватися з досвідченими. Якшо що див. п. 3.
  5. Не їжте дві години перед бігом. Не пийте пів години. Нічого страшного тут нема, просто з порожнім шлунком приємніше бігти.
  6. Бігайте по місті, це розвиває. Продумайте собі пару маршрутів, один на тренувальну дистанцію, один на “велику” для вихідних. Комбінуйте, намагайтеся бігти дворами та вулицями з менш щільним трафіком. Плануйте щоб на маршруті були 2–3 МакДональдзи або інші мережі публічних туалетів. Кола по парку швидко набридають. Стадіони для спринтерів.
  7. Майте з собою грошей на таксі та якогось ідентифікатора. Айфон не канає, більшість людей поняття не мають, як в ньому знайти тривожний екран. Права згодяться.
  8. Якщо бігаєте там, де вигулюють псів або де тусуються дворняги, тримайте по камінчику у кожній долоні. Пси дурні та боягузливі, але не намагайтеся від них втекти. Гарчить та стає в стійку для атаки — зупиніться, займіть більше простору (ноги ширше, руки в боки) та чекайте пару секунд поки не заспокоїться та не звалить. Якщо зволікає або їх більшає — киньте камінь в одного, решта розбіжаться.
  9. Якщо палите, киньте, прозрієте від того, наскільки легше буде бігти. Якщо п’єте, не пийте в день тренування — алкоголь стримує відновлення клітин, отже блокує прогрес.
  10. Бігайте взимку. Все що вище -10С підходить для бігу. Купіть термо та нормальний перший шар. При до +3 бігайте в одному шарі, коли нижче вдягайте термо. Коли лежить сніг та вже +3 особисто я вже вдягаю шорти. Тут маються на увазі не цифри на термометрі, а т.з. комфортна температура (feels like). Головні місця для утеплення це долоні та голова, вони втрачають найбільше тепла та не гріють себе під час бігу.
  11. Маєте вади здоров’я — проконсультуйтесь в лікаря. Але не лікаря для хворих, а спортивного. Бо в поліклініці вам одразу покладуть десять діагнозів і посадять у візок.
  12. Посміхайтеся бігунам. Це індивідуальний спорт, але в нас більше спільного, ніж у інших. Покажіть що ви це розумієте.

Як зберегти приватність відвідувань вебсайтів від власного інтернет-провайдера

від власного інтернет-провайдера

Останнім часом, зважаючи на неприємні новини з-за океану про відміну Конгресом США вимог щодо приватності метаданих відвідування інтернету, досить часто постає питання “а що ж робити?” Відклавши політичні та суспільні компоненти проблеми, якими най опікуються резиденти та громадяни Штатів, перейду до суто технічного розв’язання. Коли мова йде про вашого інтернет-сервіс провайдера (ISP), є два популярні та дієві способи приховати від нього практично всю вашу активність в мережі. Це Tor та VPN.

Tor здійснює трошки більше ніж просто приховування вашого трафіку. По суті це величезна розподілена мережа, яка шифрує трафік від вашого пристрою до точки виходу з неї (але не за її межами), та при цьому додає вашим діям відносної анонімності. Відносної, тому що абсолютної анонімності в інтернеті немає, проте Tor це непоганий варіант, якщо вашим опонентом є “вичіслітєль по ІР”, а не FBI чи ФСБ. Хоча щодо ФСБ в мене сумніви, але я б не радив ризикувати.

Віртуальна приватна мережа (VPN) анонімності не гарантує, але від прослуховування на обладнанні інтернет-провайдера захистить. Під’єднуючись до VPN, ви встановлюєте зашифрований тунель від вашого пристрою до серверу VPN-провайдера (або вашого власного VPN-серверу, якщо аж настільки припекло). Звісно ж, VPN-провайдери теж не янголи, але більшість з них отримує за послуги ваші гроші, а не гроші рекламодавців, жадібних до журналів ваших відвідувань. Отже, є VPN-провайдери з гарною репутацією, яких не соромно й друзям порадить.

Важливе зауваження. Ані Tor, ані VPN не гарантують вам приватності за межами мережі/тунелю. Отже, використовуючи ці технології, переконайтеся, що “завертаєте” в них лише комунікації, які самі по собі захищені шифруванням. Тобто, що відвідуєте веб-сайти по протоколу HTTPS та спілкуєтеся з друзями в програмах, які здійснюють шифрування даних. В противному випадку, особливо коли мова йде про Tor, ваші дані можуть опинитися навіть в більшій небезпеці, ніж зазвичай.

Список рекомендованих VPN-провайдерів міститься в настановах щодо персональної кібербезпеки під кодовою назвою Don’t Click Shit: https://github.com/sapran/dontclickshit#Користуйтеся-vpn

Охочім отримати досвід з використання Tor — сюди: https://www.torproject.org

Бережіться.


Оновлено 21 грудня 2018 р.

Очевидно, тепер до переліку суб’єктів, від нам яких слід приховувати метадані, треба додати й постачальників послуг, якими ми користуємось. Таких як, наприклад, Slack, що заблокував цілу купу користувачів, які нещодавно побували на підсанкціних територіях.



Originally published at blog.styran.com on April 8, 2017.

Чому небезпечно надавати доступ до вашого профілю в Facebook

та в інших соціальних мережах

Напевно, всім знайомі оці прикольні “тести”, які видають вам правду жізні лишень отримавши “доступ до вашого профілю у Facebook та списку друзів”. Дехто навіть підозрює, що вони становлять загрозу приватності. Але більшість вважає, що їхнє ім’я та email не є великою таємницею, а список друзів можна подивитися в профілі, отже… в мене нема чого красти.

Розбазарювати чи ні список друзів, це окрема цікава тема, але сьогодні давайте поговоримо про ваш профіль. Якщо ви вважаєте, що творців подібних “тестів” цікавить хто ви є і як з вами зв’язатися — ви наївно помиляєтесь. Насправді їх цікавить, які сайти ви відвідуєте, які посилання на них клікаєте, та які дані в них вводите. “Але ж Фейсбук про це не знає!” — скажете ви. І це буде помилкою.

Кожен раз, коли ви заходите на веб-сайт, який має на ньому видиму (або не дуже) порцію коду з Facebook, ви ділитися з ним даними про це відвідування. Цей код може виглядати як кнопка поширення сторінки в ФБ, але для того, щоб ваш візит був зареєстрований в ФБ, вам не потрібно поширювати сторінку. Вам досить просто її відвідати. Щоб картинка була повною, додам, що для збирання цих даних ФБ зовсім не обов’язково, щоб ви були в ньому залогінені або навіть зареєстровані.

Дані про наші відвідування збираються та систематизуються у великих-превеликих базах даних, користуватись якими потім можуть клієнти Facebook — тобто ті, хто платить за це гроші. (Якщо ви вважали, що є клієнтами ФБ, мушу вас розчарувати: ви в цій схемі — товар. У вас навіть артикул є — це ваш рекламний ідентифікатор.) Отримавши доступ до цих даних, клієнти можуть тонко настроювати параметри реклами, яку вони поширюють через ФБ. Наприклад, націлюючи її на чоловіків у віці 18–35 років, які неодружені та полюбляють мотоцикли. Тобто відвідують веб-сайти мотоклубів та ділерів і не дай боже колись клікали посилання на весільні агентства або лайкали весільні фотки із своїм обличчям десь по центрі. Якщо ви колись опинялися в ситуації, коли шукали певний товар в інтернеті, а потім заходили в ФБ та одразу ж натикалися на рекламу цього товару — ось вона, магія таргетованої реклами.

Але це ще пів біди: вся ця кухня відбувається в межах ФБ та більш-менш контрольована. “Соціальна мережа” (а насправді — величезний оператор персональних даних про наші дії в інтернеті та не тільки) виступає ніби посередником між нами (товаром) та рекламодавцями (клієнтами). А тепер уявіть собі, що хтось крім ФБ “сидить” на тих самих вебсайтах та збирає ту саму інформацію, але не в змозі її співставити з вашою персоною. Аж раптом він отримує ваші персональні дані та рекламний ідентифікатор, причому майже безкоштовно. На цьому в мене все.

Бережіться.