Adding complete whitelist for western and non-western characters. Do not use Russian word for Joker for now.

Author: sydseter

scripts/convert.py

@@ -359,7 +359,10 @@ def parse_arguments(input_args: List[str]) -> argparse.Namespace:
 def is_valid_string_argument(argument: str) -> str:
     if len(argument) > 255:
         raise argparse.ArgumentTypeError("The option can not have more the 255 char.")
-    if not re.match(r"^[A-Za-zА-Яа-я0-9._-]+$", argument):
+    if not re.match(
+        r"^[\u0600-\u06FF\u0600-\u06FF\u0750-\u077F\u08A0-\u08FF\uFB50-\uFDFF\uFE70-\uFEFF\uFDF2\uFDF3\uFDF4\uFDFD\u3040-\u309F\u30A0-\u30FF\u4E00-\u9FFF\uFF66-\uFF9Fー々〆〤\u3400-\u4DBF\uF900-\uFAFF\u0900-\u097F\u0621-\u064A\u0660-\u0669\u4E00-\u9FFF\u0E00-\u0E7F«»฿ฯ๏๚๛\u0400-\u04FF\u0500-\u052F\u2DE0-\u2DFF\uA640-\uA69FЮ́ю́Я́я́\u0370-\u03FF\u1F00-\u1FFFA-Za-zÀ-ÖØ-öø-ÿĀ-ž0-9._\--ءآأؤإئابةتثجحخدذرزسشصضطظعغفقكلمنهوي ًٌٍَُِّْٰﷲﷴﷺﷻ ٠١٢٣٤٥٦٧٨٩ \s]+$",  # noqa: E501
+        argument,
+    ):
         raise argparse.ArgumentTypeError(
             "The option can only contain a-z letters, numbers, periods, dash or underscore"
         )
@@ -663,7 +666,7 @@ def get_replacement_value_from_dict(el_text: str, replacement_values: List[Tuple
         if el_new:
             return el_new
         if k.strip() in el_text:
-            reg = r"(?<!\S)" + re.escape(k.strip()) + "(?!\S)"  # # noqa: W605
+            reg = r"(?<!\S)" + re.escape(k.strip()) + "(?!\S)"  # noqa: W605
             el_text = re.sub(reg, v, el_text)
     return el_text
 

source/webapp-cards-2.00-ru.yaml

@@ -66,7 +66,7 @@ suits:
     desc: "Хавьер может внедрить данные в интерпретатор на стороне клиента или устройства, поскольку параметризованный интерфейс не используется или не был реализован правильно, или данные не были правильно закодированы для контекста, или нет ограничений в отношении включений кода или данных"
   -
     id: "VEK"
-    value: "К"
+    value: "K"
     url: "https://cornucopia.owasp.org/cards/VEK"
     desc: "Гейб может внедрить данные в интерпретатор на стороне сервера (например, SQL, команды ОС, XPath, серверный JavaScript, SMTP), потому что строго типизированный параметризованный интерфейс не используется или реализован неправильно"
   -
@@ -433,14 +433,16 @@ suits:
     id: "JOA"
     value: "A"
     url: "https://cornucopia.owasp.org/cards/JOA"
-    card: "Джокер"
+    #card: "Джокер"
+    card: "Joker"
     desc: "Алиса может использовать приложение для атаки на пользовательские системы и данные"
     misc: "Вы размышляли над тем, чтобы стать индивидуальным членом OWASP? Все инструменты, руководство и встречи бесплатны для всех, но индивидуальное членство помогает поддержать работу OWASP"
   -
     id: "JOB"
     value: "B"
     url: "https://cornucopia.owasp.org/cards/JOB"
-    card: "Джокер"
+    #card: "Джокер"
+    card: "Joker"
     desc: "Боб может изменить или повлиять на приложение так, что оно перестанет соответствовать юридическим, нормативным, договорным или другим организационным предписаниям"
     misc: "Изучите уязвимости и обнаружьте, как их можно исправить, используя бесплатный Juice Shop, Security Shepherd или бесплатные задания Hacking-lab от OWASP®"
 paragraphs:

tests/scripts/convert_utest.py

@@ -20,6 +20,50 @@
     __import__("sys").modules["unittest.util"]._MAX_LENGTH = 999999999
 
 
+class MultiLingualSupportIsValidStringArgument(unittest.TestCase):
+    def test_is_valid_string_argument(self) -> None:
+        # Devanagari
+        self.assertTrue(
+            c.is_valid_string_argument("अआइईउऊऋॠऌॡएऐओऔकखगघङचछजझञटठडढणतथदधनपफबभमयरलवशषसहक्षत्रज्ञश्रािीुूृॄॢॣेैोौँंःऽॐ।॥०१२३४५६७८९")  # noqa: E501
+        )
+        # Common Chinese characters
+        self.assertTrue(
+            c.is_valid_string_argument(
+                "的一是不了人我在有他这中大来上国个到说们时用生地为子就出也得可下对生会能而年好小工不天你都和那要她看去很学只多家以新长从自实过发成当动经如事方作成者部里用行道然种面因进此"  # noqa: E501
+            )
+        )
+        # Hiragana, Katakana, Kanji
+        self.assertTrue(
+            c.is_valid_string_argument(
+                "あいうえおかきくけこさしすせそたちつてとなにぬねのはひふへほまみむめもやゆよらりるれろわをんがぎぐげござじずぜぞだぢづでどばびぶべぼぱぴぷぺぽゃゅょっアイウエオカキクケコサシスセソタチツテトナニヌネノハヒフヘホマミムメモヤユヨラリルレロワヲンガギグゲゴザジズゼゾダヂヅデドバビブベボパピプペポャュョッ一二三四五六七八九十日月火水木金土山川田人名本学生校先生私年時今行来見書話聞食飲車駅国外大中小新古高安円白赤青黒"  # noqa: E501
+            )
+        )
+        # Cyrilic
+        self.assertTrue(
+            c.is_valid_string_argument(
+                "АБВГДЕЁЖЗИЙКЛМНОПРСТУФХЦЧШЩЪЫЬЭЮЯабвгдеёжзийклмнопрстуфхцчшщъыьэюяӘәӨөҮүҰұҚқҒғҢңҺһІіЇїЄєҐґЁёЂђЃѓЄєЅѕІіЇїЈјЉљЊњЋћЌќЎўЏџА́а́Е́е́И́и́О́о́У́у́Ы́ы́Э́э́Ю́ю́Я́я́"  # noqa: E501
+            )
+        )
+        # Thai
+        self.assertTrue(
+            c.is_valid_string_argument("กขคฆงจฉชซฌญฎฏฐฑฒณดตถทธนบปผฝพฟภมยรลวศษสหฬอฮะัาำิีึืุูเะแโใไๆ็่้๊๋์๐๑๒๓๔๕๖๗๘๙«»฿ๆฯ๏๚๛")  # noqa: E501
+        )
+        # Greek
+        self.assertTrue(
+            c.is_valid_string_argument(
+                "ΑΒΓΔΕΖΗΘΙΚΛΜΝΞΟΠΡΣΤΥΦΧΨΩαβγδεζηθικλμνξοπρστυφχψωΆΈΉΊΌΎΏΐΪΫάέήίόύώϋΰϐϑϒϓϔϕϖϚϛϜϝϞϟϠϡ"  # noqa: E501
+            )
+        )
+        # Arabic
+        self.assertTrue(c.is_valid_string_argument("ءآأؤإئابةتثجحخدذرزسشصضطظعغفقكلمنهوي ًٌٍَُِّْٰﷲﷴﷺﷻ ٠١٢٣٤٥٦٧٨٩ "))
+        # European
+        self.assertTrue(
+            c.is_valid_string_argument(
+                "ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyzÀÁÂÃÄÅÆÇÈÉÊËÌÍÎÏÐÑÒÓÔÕÖØÙÚÛÜÝÞßàáâãäåæçèéêëìíîïðñòóôõöøùúûüýþÿĀāĂ㥹ĆćĈĉĊċČčĎďĐđĒēĔĕĖėĘęĚěĜĝĞğĠġĢģĤĥĦħĨĩĪīĬĭĮįİıĴĵĶķĹĺĻļĽľŁłŃńŅņŇňŌōŎŏŐőŒœŔŕŖŗŘřŚśŜŝŞşŠšŢţŤťŦŧŨũŪūŬŭŮůŰűŲųŴŵŶŷŸŹźŻżŽž"  # noqa: E501
+            )
+        )
+
+
 class TextGetValidEditionChoices(unittest.TestCase):
     def test_get_valid_edition_choices(self) -> None:
         c.convert_vars.args = argparse.Namespace(edition="all")