Пайдаланушыға күш қайтару: интернеттің төртінші дәуірі

Crypto Galleon ⚓️
10 min readMar 13, 2021

--

Тим Кук біз жай ғана Google және Facebook өнімдері екенімізді, кез-келген адамға өз еркімен сатуға болатындығын жазған кезде дұрыс болды ма? Сэр Тим Бернерс-Ли Марк Цукерберг интернетті бақылау және сайлауды басқару капитализмінің жабық құралына айналдырғанына ашуланған кезде дұрыс болды ма? Егер олар дұрыс болса, болашақта интернетте бізді не күтеді?

Төменде біз осы сұрақтарға жауап беруге тырысамыз. Біз мұны Интернеттің ерте эволюциясын сипаттау арқылы жасаймыз. Атап айтқанда, біз мұны Крис Диксон мен Андрей Карпатидің ойларына сүйене отырып жасаймыз. Біз корпоративтік бақылауға, әсіресе жасанды интеллект дәуіріне қарай эволюцияны сипаттаймыз. Бұл эволюцияның көп бөлігі шынымен мұңды болғанымен, біз түбегейлі өзгеріс бар деп санаймыз. Қазіргі уақытта интернетті адамдарға қайтару үшін құрылыс блоктары бар. Ертеңгі күн бүгінгіден әлдеқайда жарқын көрінеді.

Халық үшін код және билік

Интернеттің алғашқы дәуірі интернет-қауымдастық бақылайтын ашық хаттамаларға негізделген. Бұл протоколдар TCP/IP-ден интернет-протоколдардың толық жиынтығына, интернетке арналған HTTP-ге, чат пен дауыс беру үшін XMPP және VOIP-ке дейін созылды. Бұл алғашқы дәуір 1980 жылдардан 2000 жылдардың басына дейін созылды.

Корпорациялар үшін код және билік

Бірінші дәуірмен қиылысатын екінші дәуір 1990 жылдардың ортасында басталды.Ол Apple, Amazon, Google және Facebook сияқты орталықтандырылған корпоративті алыптар басқаратын жабық бастапқы өнімдер мен қызметтермен сипатталды.

Бірінші дәуірден екінші ғасырға көшу ынталандырудың нәтижесі болды. Ол кезде ашық хаттамаларда кеңейтілетін бизнес-модель болған жоқ. Бұл орталықтандырылған монополиялар құру үшін ең жарқын ақыл-ойды тартуды жеңілдетті.

Халық үшін код. Корпорациялар үшін билік

Үшінші дәуір 2006 жылы Hadoop іске қосылғаннан басталды. Осы үшінші дәуірде корпоративті алыптар ашық кодты көбірек қолданады. Меншікті кодты негізгі дифференциатор ретінде қарастырудың орнына, олар қазір желілік эффектілер арқылы монополиялық бақылауға ұмтылды.

Google-ден Android-бұл жақсы көрсеткіш. Google ынтымақтастық негізіндегі даму шығындарын азайту, кадрларды іріктеуді жақсарту, тұтынушылар мен серіктестердің қарым-қатынасын жақсарту, салалық стандарттарды белгілеу және бақылау үшін ашық бастапқы код базасын қолдана алды. Сонымен қатар, Google монополиялық бақылауды көптеген желілік эффектілер арқылы - платформа, жеке утилиталар, нарық, нарықтық желі және деректер негізінде қамтамасыз ете алды.

Жасанды интеллект дәуірінде. Деректер + талант = күш

2016 жыл осы дәуірде айтарлықтай өзгерістермен ерекшеленді. Бұл ИИ біздің әлемді жалмап жатқан бағдарламалық жасақтаманы қолдана бастаған кезде болды. Бұрынғыдай, корпоративті алыптар әлі күнге дейін монополиялық бақылауға ұмтылып, ашық бастапқы кодпен жұмыс істеуді жалғастырды. Алайда, олардың бақылауға апаратын жолы дәл таланттарды жеуге және ИИ-ді жабдықтайтын мәліметтерді жеуге бағытталған.

Бұл талант пен деректерге назар аударту жасанды интеллектуалды бағдарламалық ИИ жасақтаманың негізін жазудың басқаша әдісінен туындады. ИИ бағдарламалық жасақтамасын адамдар жазбайды. Шындығында, оны көбіне адам оқи алмайды. Оның орнына, бұл машиналар жүргізетін іздеу процесінің нәтижесі, процесті басқаратын, жақтайтын және басқаратын адам сарапшылары. Адамдар мамандары өз компьютерлерін қолайлы мақсатпен қамтамасыз етеді (мысалы, «кіріс-шығыс жұптарының деректер қорын қанағаттандыру»). Адам сарапшылары сонымен қатар компьютерлер іздеуі керек бағдарламалық кеңістіктің шекараларын ұсынады (мысалы, кейбір нейрондық желінің архитектурасын қолдана отырып). Содан кейін адам сарапшылары іздеуді мұқият басқарады.Жасанды интеллект саласындағы таланттарға баса назар жасанды интеллектке арналған бағдарламалық жасақтаманы басқаруға, қалыптастыруға және басқаруға қабілетті мамандардың жетіспеушілігіне байланысты болды. Екпін кеңейту, біріктіру, тәлімгерлік ету, тазалау және таңбалау деректер жиынтығы негізделді қажеттілігіне қол жеткізу неғұрлым жетілдірілген және алыс жүретін мақсаттары.

Google жасанды интеллекттің жаңа дәуірінің көшбасшысы болды. Компания өзін AI-first деп санайды, мұнда “AI — бұл барлық жерде”, барлық командаларға AI инфрақұрылымының бірыңғай стекінің үстіне (Google ашық көзді қолданады) салу ұсынылады. Жаңа AI-бірінші Google әлемдегі AI-дің шектеулі таланттарын монополиялауды мақсат етті, сондықтан Google-дің AI-дегі академиялық нәтижелері қазір MIT, Стэнфорд және басқа да университеттерге көлеңке түсіреді.Сонымен қатар, компанияның деректерге деген көзқарасы біртіндеп өзгерді. Компания біздің жеке белсенділігімізді Google-ден басқа веб — сайттарда, біздің барлық құрылғыларымызда, үйлерімізде және сыртқа шыққан кезде-біз телефондарымызды пайдалансақ та , пайдаланбасақ та, Google-ден басқа веб-сайттарда жиі жазатын барлық Google пайдаланушылары үшін “супер профильдер” құру үшін өзінің бақылау деректерін кеңейтіп, біріктірді. Бұл аға жетекшілер өздерін кетуге мәжбүр еткендей сезінді. Компанияның бөлімшесі тіпті біздің медициналық деректерімізді алу үшін құпия келісімдер жасады, содан кейін бұл күш Google-ге біріктірілді.

Код пен билікті адамдарға қайтару

Қазір біз интернеттің төртінші дәуіріне кірудеміз. Осы төртінші дәуірде код ішінара ашық емес, толық болуға көбірек бейім болады. Адамдар өз деректерінің ерекше бақылаушылары болады. Атап айтқанда, олар өз деректерінің айрықша коммерциялық бақылаушылары болады. Ең жарқын ақыл-ойлар алтын жалатылған жасушалардан кетуге ынталандырады.

Әрбір деректер әмиянын ұсыну

Желінің негізін қалаушы Сэр Тим Бернерс-Ли бізді 2016 жылы Solid жобасын іске қосу арқылы осы төртінші дәуірге жақындатты. Facebook-тің қабырғалы бақтарын жоюдың әдісі ретінде ойластырылған Solid жобасы қазір NHS пациенттерге медициналық мәліметтерге кім қол жеткізе алатындығын анықтауға мүмкіндік беру әдісі ретінде сынақтан өткізілуде.

Solid жобасы әрқайсымызға ортақ, үйлесімді деректер әмиянын ұсынуға бағытталған. Сэр Тимнің көзқарасы бойынша, біздің әрқайсымыз барлық деректерді өз деректер әмиянына орналастыра алуымыз керек. Бұл біздің суреттерімізді, әлеуметтік профильдерімізді, медициналық деректерімізді немесе Бүгін DropBox немесе Google Drive-те сақтай алатын кез-келген деректерді қамтуы керек. Бұл әмияндар көпшілікке қол жетімді болуы керек, бұл бізге таңдалған ақпаратты сайланған сенімді Тараптармен бөлісуге мүмкіндік береді. Бұл әмияндар да үйлесімді болуы керек, бұл әзірлеушілерге барлық әмияндардың үстіне қосымшалар мен қызметтерді құруға мүмкіндік береді (мысалы, орталықтандырылмаған Facebook баламасы).

Деректер Жоқ Түсініктер

Solid Project деректермен алмасу және сенім білдірілген адамдар арасындағы ынтымақтастық мәселесін шешеді. Алайда, біз деректермен жасай алатын кейбір маңызды жетістіктер деректердің сенімсіз тараптарға қол жетімді болуын талап етеді.

Нақты медициналық мәліметтер мысал бола алады. Бұл деректер күшейтілген өсу трендіне мүмкіндік береді. Егер ең жарқын ақыл-ойлар біздің медициналық дәл медициналық мәліметтерімізге қол жеткізе алса, онда олар ауру туралы түсінігімізді, пациенттің тәжірибесін және емделуге деген реакциясын едәуір арттыра алады. Дегенмен, нақты медициналық деректер артқы жағын нығайтуға мүмкіндік береді. Бұл мәліметтер жеке геномдық мәліметтерге негізделген. Бұл деректер мәні бойынша сәйкестендіргіш болып табылады.Олар қабілеттердің, мінез-құлықтың және аурулардың даму ықтималдығын анықтайды.

Егер біз деректердің осы түрінің пайдалылығын барынша көбейтіп, бір уақытта ықтимал зиянды азайтуды қаласақ, онда біз екі мәселені шешуіміз керек:

  • Деректердің ағуы: сенімсіз тараптар біздің жеке деректерімізбен есептеулер жүргізген кезде, бұл тараптар немесе кез келген басқа тараптар біздің шикі деректерімізге тікелей қол жеткізе алмауы керек.
  • Ымыралы қорытынды: ешкімде кез-келген есептеулердің нәтижелерін алуға және біз туралы жеке қорытынды жасауға мүмкіндік болмауы керек.

Маңыздысы, біз бұл мәселелерді бір уақытта екі шектеуді қанағаттандыру арқылы шешуіміз керек. Бірінші шектеу — “есептеулердің тұтастығы”. Бұл есептеуге араласу үшін мүмкін болмауы керек. Екінші шектеу — “қашықтан сертификаттау”. Барлық тараптар есептеулердің күтілгендей дұрыс екенін қашықтан растай алуы керек.

Ешқандай ымырасыз тұжырымдар жоқ

Қорытынды жасауға кедергі келтіретін екінші мәселе күрделі мәселе болса да, біз бұл туралы ойлана аламыз. Нақты шешімдер де орналастырылды.

Дифференциалды құпиялылық бұл қандай жазба байланысы,ε-дифференциалдау немесе басқа шабуылдар қолданылмаса да, шығару мүмкін еместігінің математикалық дәлелденген КЕПІЛІ. Егер алгоритмнің нәтижесі бірдей болса, алгоритм ε-дифференциалды жеке деп айтамыз, егер жеке адамның деректері кіріс деректер жиынтығына кірсе де, кірмесе де. Біз ε үшін таңдаған Сан жеке ақпаратты дифференциалды-жеке талдауға қосу нәтижесінде жеке адам туралы не білуге болатындығын дәл шектейді. Егер адамның ақпараты бірнеше талдауда қолданылса, сіз көбірек біле аласыз. Дифференциалды құпиялылық, сонымен қатар, анықталатын соманың өсуі белгілі функция ε және орындалған талдаулар санының болуын қамтамасыз етеді.

Нақты әлемдегі әйгілі шешімдерді қазір Google, Apple, Microsoft және АҚШ халық санағы бюросы орналастырды. Бұл шешімдер әсерлі болғанымен, уақыт өте келе көптеген сынақтар жүргізілген кезде қиын болады. Біз бұл шешімдер жақсарады деп күтеміз. Бұл, атап айтқанда, дифференциалды-жеке Машиналық оқыту қайта есептеуді қажет ететіндігіне байланысты. Aircloak ‘ s Diffix бұл сонымен қатар жеке өмірдің нақты қажеттіліктерін қанағаттандыратын қайталанатын талдауларды шешудің басқа тәсілдері болуы мүмкін, тіпті егер бұл тәсілдер дифференциалды жеке болу дегеннің қатаң анықтамасын қанағаттандырмаса да.

Деректердің ағып кетуіне жол бермеу әрекеті

Бірінші мәселе — есептеу кезінде деректердің ағуы қиын болды.

Бастапқыда криптографиялық тәсілдер ұсынылды. Оларға қорғалған көп партиялы есептеу, гомоморфты шифрлау және нөлдік білімді дәлелдеу жүйелері жатады. Өкінішке орай, 1970 жылдардың аяғынан бастап жалғасып келе жатқанына қарамастан, бұл тәсілдер жылдар бойы шектеулі қолдануды тапты. Себебі, олар айтарлықтай үстеме шығындардан зардап шегеді. Олар сонымен қатар әртүрлі тараптардың қалай ынтымақтасуы керектігін қатаң шектейді. Сонымен қатар, осы шешімдер мен қорытынды есептер арасындағы өзара әрекеттесу біркелкі емес.

Содан бері екі балама тәсіл ұсынылды. Бұл баламалар анағұрлым практикалық, бірақ сонымен бірге мүшелерден кем дегенде бір жағына сенуді талап етеді. Бұл екі тәсіл орталықтандырылған түрде үйлестірілген trusted execution environments(TEEs, 2016) және federated learning/federated analytics (2017/2020)

TEEs пайдалану кезінде код пен деректердің толық оқшаулануын қамтамасыз етеді. Бұл аппараттық құралмен басқарылады. TEEs сонымен қатар қашықтықтан сертификаттауды қамтамасыз етеді, яғни барлық тараптар есептеулердің аяқталғанын растай алады. Ойыншықтармен байланысты мәселелерден басқа нәрсе үшін бірнеше тістерді үйлестіру қажет. Орталықтандырылған үйлестіру орталық үйлестірушіге сенімді қажет ететін барлық тараптарды қалдырады.

Federated analytics есептеулердің екі деңгейін қамтиды: (i) жергілікті есептеу және (ii) әр түрлі көздерден есептеу. Жергілікті есептеу кезінде сұраулар әр тәуелсіз деректер ұстаушыға жіберіледі, содан кейін есептеулер жергілікті деректерді қолдана отырып жергілікті ортада орындалады. Интерстициалды есептеу кезінде жергілікті есептелген шығыс ортақ пайдаланылады және біріктірілген шығыс жасалады.

Federated analytics зерттеушілер популяция деңгейіндегі корреляцияны анықтай алатын дәрежені шектейді. Бұл жергілікті есептеу кезінде корреляциялар айқын болмауы мүмкін. Federated analytics сонымен қатар зерттеушілерден деректер иелеріне сенуді талап етеді. Бұл Federated analytics деректер иелеріне сұраныстар беретіндігіне байланысты. Егер сұрау туралы білім құнды болса немесе деректер бойынша оқытылатын AI модельдері құнды болса, онда деректер иелері осы құнды активтерді пайдаланбауы үшін сенуі керек. Әрбір деректер иесінің сұраныстарын ашу шабуыл қаупін арттырады — мотивті де, қаражатты да көбейту арқылы.Мысалы, бұл деректер иесі үшін жұмыс істейтін адамның белгілі бір деректерді қолдануда қиындықтар туындауы ықтималдығын арттырады. Бұл адам деректерге қарағанда сұраулар мен жергілікті шығуларды оңай басқара алады.

Federated analytics-тің өзі кез-келген иелікпен деректер сирек болған кезде күреседі. Платформа координаторының жеке ақпаратты шығаруына жол бермеу үшін Federated analytics әр жергілікті есептеу нәтижелерінің сараланған құпия болуын талап етеді. Деректер кейбір деректер иелерінде сирек болған кезде, бұл қиынға соғады. Себебі, біз дифференциалды құпиялылықты қамтамасыз ету үшін шу қосамыз, ал кішігірім мәліметтер жиынтығындағы есептеулер кез-келген адамның шығарылуына жол бермеу үшін пропорционалды түрде көбірек шуды қажет етеді. Біз бұл қиындықты Federated analytics-ті қауіпсіз көппартиялы есептеулермен біріктіру арқылы шеше аламыз. Біз мұны жасаған кезде дифференциалды құпиялылықты бірнеше көздерден Есептеу кезеңінде бір рет қолдануға болады. Алайда, қауіпсіз көп партиялы есептеуді қосу әдісіне байланысты қатысушылар үйлестірушіге сенуі керек немесе оларға сенімді үшінші тарап қажет. Екі жағдайда да, бұл үкіметтерге мәжбүрлеу мақсатын қалдырады.

Деректердің ағып кету мәселесін шешу

Беркли мен Корнеллдегі Калифорния университетінің зерттеушілері 2018 жылы деректердің ағып кету мәселесін шешті. Олар Solid Project әмияндары сияқты жеке (сирек кездесетін) деректер әмияндарында құпиялылықты сақтауға талдау жасауға мүмкіндік беретін шешім ұсынды. Сонымен қатар, олар сұраулар мен жасанды интеллект модельдерін құпия ұстайтын шешім ұсынды.

Олардың шешімі бірнеше көздерден алынған ұсақ мәліметтер жиынтығын талдау үшін бір тісті қолданған кезде, тістер деректердің ағып кетуіне жол бермейді деген идеядан басталды. Олар бір TEEs-тен бірнеше TEEs-ке дейінгі талдаудан деректердің ағып кетуіне жол бермеуді екі жаққа да ешқандай сенім талаптарын қоймастан масштабтаудың жолын тапты. Олар бұған тәуелсіз тексеруге мүмкіндік беретін дәлелденген қауіпсіздік моделін қолдана отырып қол жеткізді. Сондай-ақ, олар бұған шамалы үстеме шығындармен қол жеткізді.

Олар бұған TEEs үйлестіру үшін блокчейндерді қолдана отырып қол жеткізді. Ең бастысы, олар блокчейндерді тек үйлестіру үшін қолданған. Олар орындауды консенсустан нақты бөлді. Олар барлық есептеулер TEEs-тегі тізбектен тыс жеке мәліметтерден жоғары болуы мүмкін екенін көрсетті, содан кейін олардың тізбектегі дұрыс орындалуын растайды. Бұл зерттеушілерге блокчейнмен байланысты шектеулерден аулақ болуға мүмкіндік берді. Айта кету керек, бұл қосымша қауіпсіздік осалдықтарын енгізбейтін тексерілетін модель арқылы жасалды.

Мұны Нақты Ету: Адамдарға Бақылау Жасау

Dawn Song профессоры, мүмкін әлемдегі ең көп келтірілген қауіпсіздік зерттеушісі, осы жаңа шешімнің дамуына жетекшілік етті. Зерттеу жарияланғаннан кейін көп ұзамай a16z профессор Song, Oasis Labs компаниясына осы шешімді әлемге жеткізу үшін 45 миллион доллар инвестиция салды. Екі жылдық дамудан кейін, 2020 жылдың қыркүйегінде, Nebula Genomics компаниясымен серіктестікте осы шешімді нақты әлемде алғашқы ірі енгізу туралы жарияланды.

Ынталандыруды Келісу

Жаңа шешімнің өнімділігін арттыруды асыра бағалау мүмкін болмаса да, бұл a16z және басқа компаниялардың көп инвестиция салуының жалғыз себебі емес. Олардың инвестициялары ерекше ынталандыруды теңестірді. Әрқайсымыз өзімізді және өз деректерімізді орталықтандырылған қызметтерден алуға шақырамыз. Ең жарқын ақыл-ойлар корпоративті алыптардан кетуге және ашық бастапқы қызметтерді құруға шақырылады. Әрі қарай, уақыт өте келе бұл ынталандыру көбейеді.

Егер Solid жобасы құпиялылықты сақтай отырып, деректерді талдауды қамтамасыз ету үшін толықтырылса, онда бұл өте маңызды. Алайда, біз аналитиктерді қызықтыратын жеке деректерді (мысалы, денсаулық туралы деректерді) жинау қиын немесе қымбат деп санаймыз. Біз бұл деректерді талдаушылардың не қызықтыратынын біле отырып жинаймыз ба? Сонымен қатар, егер біз өз қажеттіліктерімізге байланысты деректерді жинасақ, онда басқаларға бұл деректерді талдауға мүмкіндік берер ме еді? Жаңа шешімді қызықты ететін нәрселердің бірі-бұл қажет болған жағдайда ақылды келісімшарттар бар. Бұл біздің әрқайсымыз құпиялылықты сақтай отырып, талдау үшін құнды жеке деректерді жинауға және ашуға қаржылық тұрғыдан ынталандырылуы мүмкін дегенді білдіреді.

Бұл токенизацияланған ақылды-келісімшарттар әзірлеушілерді ашық бастапқы құралдар мен қызметтерді құруға және жаңа шешімді қолдауға итермелейді. Бұл ынталандыру екі форманы алады: алдын-ала алынған токендер және әр транзакцияның операциялық үлесі. Ашық бастапқы код-бұл токенизацияланған, орталықтандырылмаған қызметтердің анықтайтын ерекшелігі. Ашық бастапқы кодқа деген қажеттілік осы жағдайда жаңа шешімнің талаптарының бірімен күшейтіледі. Тексерілетін қауіпсіздікті қамтамасыз ету үшін ол ашық болуы керек.

Жаңа сервистер құрылған кезде, олар жаңа пайдаланушылармен және жаңа клиенттермен бірге ашық бастапқы кодталған қызметтерді одан әрі құруға мүмкіндік береді және ынталандырады. Бұл құпиялылықты сақтай отырып, жеке, құнды деректерді талдау төңірегінде экожүйенің тез өсуіне әкеледі. Дәстүрлі орталықтандырылған қызметтер негізінен өзімшіл және бәсекеге қабілетті, пайдаланушы тәжірибесі мен тұтынушы тәжірибесінің көп бөлігін иеленуге тырысады. Токенизацияланған, орталықтандырылмаған қызметтер мүлдем басқа. Олар өз кезегінде басқаларды жоғары деңгейдегі қызметтерді құруға итермелеу үшін бірлесіп жұмыс істейді, өйткені жоғары қызметтер төменірек мәнге ие болады. Бұл айырмашылық жұқа протоколдардан қалың протоколдарға ауысу ретінде сипатталды.

Мұның бәрі қайда басталады: құртушы аймағындағы құртушы қосымшасы

Профессор Song және оның командасы Калифорнияда орналасқанына қарамастан, олардың жұмысына ең керекті қажеттілік Еуропадағы медициналық қызмет көрсетушілерден келеді. Біз дәл осы жерде ауқымды нақты орналастыру басталады деп күтеміз.

Бұл күту жаңа нормативтік талаптардан туындайды. ЕО ұсынған деректерді басқару туралы заң ЕО-дағы денсаулық сақтау қызметтерін жеткізушілерді Денсаулық сақтау саласындағы инновацияларды ынталандыру үшін олардың деректерін көпшілікке қол жетімді етуге міндеттейді. Алайда, эвгеника мен құпия бақылаудың тарихы жеке өмірді құрбан етуге болмайды дегенді білдіреді. Деректермен алмасу GDPR-ге сәйкес қатаң түрде жүргізілуі керек. Бұдан басқа, үшінші елдер билігінің еуропалық пациенттердің деректеріне қол жеткізуін болдырмау үшін техникалық шаралар қабылдануы тиіс.

Қорытынды Ойлар

Крис Диксон әдеттегі пайғамбарлық жазбада былай деп жазды: “орталықтандырылған платформалар ұзақ уақыт бойы үстемдік етті, сондықтан көптеген адамдар интернет қызметтерін құрудың жақсы әдісі бар екенін ұмытып кетті.”Сіз деректерден және алгоритмдік жалдау іздеушілерінен аулақ бола аласыз. Біздің деректеріміз бізге қарсы қолданылады деп қорқудан аулақ болуға болады. Біздің ұжымдық назарымызға бәсекелестік емес, ынтымақтастық жасауға болады.

Бұл жазбада біз ашық интернеттен барған сайын жабық Интернетке көшуді сипаттадық. Атап айтқанда, біз бұл жасанды интеллект дәуірінде қалай болғанын сипаттадық. 2018 жылы іргелі технологиялық инновация жарқын болашаққа үміт берді, онда интернет қайтадан ашылып, билік орталықтандырылған монополиялардан Халыққа өтеді. Біз мұнда сипаттадық.

Өзгерістердің алғашқы нақты мысалы 2020 жылдың қыркүйегінде байқалды. Бұл АҚШ-та күтуге болатын нәрсе болды, өйткені техникалық дамудың көп бөлігі АҚШ-та болды. Алайда, Еуропада құпиялылық саясаткерлер үшін де, адамдар үшін де маңызды. Біз нақты орналастыру Еуропада кеңейе бастайды деп болжаймыз. Шынында да, жаңа ережелерді ескере отырып, біз бұл Еуропада Денсаулық сақтау провайдерлерімен серіктестікте болады деп болжаймыз.

--

--

No responses yet